大數據實踐的6個階段

戳藍字「CSDN雲計算」關注我們哦！

來源公眾號 | 智領雲科技

作者 | 智領雲 彭鋒博士

在最新的「2018年Gartner數據管理技術成熟度曲線」報告中，DataOps的概念被首次提出，Gartner標記其目前在「極為初級」這個階段裡面，並預計需要5-10年的達到一個技術成熟時期。

「極為初級」階段是報告描述的技術成熟曲線的五個階段之一，Gartner預計一項技術從出現到公眾熟知將經歷以下的五個階段：

「極為初級」 階段 一項潛在的技術突破可以解決問題。早期的概念驗證故事和媒體興趣引發了重要的宣傳。通常沒有可用的產品存在且商業可行性未經證實。

「爆發增長」階段 早期宣傳產生了許多成功故事 – 通常伴隨著許多失敗。一些公司採取行動; 大部分都沒有。

「幻滅的低谷」 階段 由於實驗和實施無法實現，早期的利好逐漸減弱。該技術的生產者放棄技術或宣告失敗。只有倖存的供應商改進其產品以滿足早期採用者的需求，投資才會繼續。

「啟蒙的斜坡」階段 更多關於技術如何使企業受益的實例開始明確並且得到更廣泛的理解。後期疊代的產品來自技術提供商。更多企業資助開始注資試點項目; 保守的公司仍然保持謹慎。

「生產力的高原」階段 技術開始被廣泛接受。評估技術提供者的可行性的標準更明確。該技術廣泛的市場適用性和相關性顯然得到了回報。如果該技術不僅僅是一個利基市場，那麼它將繼續增長。

基於上面的定義，Gartner報告基本上表明DataOps剛剛出現在數據管理領域，並且被認為是像在幾年前Spark和流處理一樣的潛在市場顛覆性技術之一。那麼DataOps到底意味著什麼？為什麼它只是在Hadoop引領大數據浪潮近10年後才出現？

我們將嘗試通過描述大數據項目的六個階段來回答這些問題，並了解DataOps真正帶來了什麼。

階段1 技術試驗階段

在此階段，你的團隊可能會安裝一個Hadoop集群和Hive（可能帶有Sqoop），以便將一些數據傳輸到集群並運行一些查詢。近年來，包括Kafka和Spark在內的組件也被考慮在內。如果要進行日誌分析，也可以安裝ELK（ElasticSearch，LogStash，Kibana）等套件。

但是，這些系統大多數都是複雜的分布式系統，其中一些系統需要資料庫支持。雖然許多提供單節點模式供你使用，但你的團隊仍需要熟悉常見的Devops工具，如Ansible，Puppet，Chef，Fabric等。

由於開源社區的辛勤工作，對大多數工程團隊來說，使用這些工具和原型設計應該是可行的。如果團隊裡面有一些優秀的工程師，你可能會在幾周內設置好一個可以聯通及運行的系統，具體的工作量一般取決於你要安裝的組件數量。

階段2 自動化階段

在這個階段，你已經擁有了一個基本的大數據系統，接下來你的需求可能有：

• 一些定期運行的Hive查詢，比如每小時一次或每天一次，以生成一些商業智能報告;

• 使用一些Spark程序運行機器學習程序，生成一些用戶分析模型，使你的產品系統可以提供個性化服務;

• 一些需要不時從遠程站點提取數據的爬蟲程序;

• 或一些流數據處理程序，用於創建實時數據儀錶板，顯示在大螢幕上。

要實現這些需求，你需要一個作業調度系統，以根據時間或數據可用性來運行它們。像Oozie，Azkaban，Airflow等工作流系統允許你指定何時運行程序（類似Linux機器上的Cron程序）。

工作流系統之間的功能差異很大。例如，一些系統提供依賴關係管理，允許你指定調度邏輯，如作業A僅在作業B和作業C完成時運行；一些系統允許僅管理Hadoop程序，而另一些系統則允許更多類型的工作流程。你必須決定一個最符合你要求的。

除了工作流程系統，你還有其他需要自動化的任務。例如，如果你的HDFS上的某些數據需要在一段時間後刪除，假設數據只保留一年，那麼在第366天，我們需要從數據集中最早的一天中刪除數據，這稱為數據保留策略。你需要編寫一個程序，為每個數據源指定並實施數據保留策略，否則你的硬碟將很快耗盡。

階段3 投入生產階段

現在你已經擁有了一個自動數據管道，數據終於可以在這個數據流水線上流動起來！大功告成？現實情況是你的生產環境會遇到下面這些棘手的問題：

• 第一年硬碟故障率為5.1％（與第一年伺服器故障率類似）

• 第4年伺服器的故障率為11％

• 大量使用的開源程序有很多bug

• 你的程序可能估計也會有一些bug

• 外部數據源有延遲

• 資料庫有停機時間

• 網絡有錯誤

• 有人在運行「sudo rm -rf / usr / local /」時使用了額外的空格

這些問題發生的次數會比你想像的要頻繁得多。假設你有50台機器，每台機器有8個硬碟驅動器，那麼一年內將有20個硬碟驅動器故障，一個月大約2個。經過幾個月的手動過程掙扎，你終於意識到你迫切地需要：

• 監控系統：你需要一個監控程序來監控硬體，作業系統，資源使用情況，程序運行;

• 系統探針：系統需要告訴你它的各種運行指標，以便它可以被監控;

• 警報系統：出現問題時，需要通知運維工程師;

• SPOF：避免單點故障，如果你不想在凌晨3點被叫醒，最好系統里不要出現SPOF;

• 備份：你需要儘快備份重要數據;不要依賴Hadoop的3份數據副本，它們可以通過一些額外的空格被輕鬆刪除;

• 恢復：如果你不希望每次發生時都手動處理所有錯誤，那麼這些錯誤最好儘可能自動恢復。

在這個階段你意識到建立一個企業級的系統並不像安裝一些開源程序那麼容易，可能我們要多下一點苦功了。

階段4 數據管理階段

一個企業級的大數據系統不僅要處理與任何標準系統操作類似的硬體和軟體故障問題，還要處理與數據相關的問題。對於一個真正數據驅動的IT系統，你需要確保你的數據完整，正確，準時，並為數據進化做好準備。

那麼這些意味著什麼？

• 你需要知道在數據流水線的任何步驟中數據都不會丟失。因此，你需要監控每個程序正在處理的數據量，以便儘快檢測到任何異常;

• 你需要有對數據質量進行測試的機制，以便在數據中出現任何意外值時，你接收到告警信息;

• 你需要監控應用程式的運行時間，以便每個數據源都有一個預定義的ETA，並且會對延遲的數據源發出警報;

• 你需要管理數據血緣關係，以便我們了解每個數據源的生成方式，以便在出現問題時，我們知道哪些數據和結果會受到影響;

• 系統應自動處理合法的元數據變更，並應立即發現和報告非法元數據變更;

• 你需要對應用程式進行版本控制並將其與數據相關聯，以便在程序更改時，我們知道相關數據如何相應地更改。

此外，在此階段，你可能需要為數據科學家提供單獨的測試環境來測試其代碼。並給他們提供各種便捷和安全的工具，讓他們能快速驗證自己的想法，並能方便地發布到生產環境。

階段5 重視安全性階段

在這個階段大數據已經與你密不可分：面向客戶的產品由數據驅動，你的公司管理層依靠實時的業務數據分析報告來做出重大決策。你的數據資產安全將變得非常最重要，你能確定你的數據只有合適的人員才能訪問嗎？並且你的系統擁有身份驗證和授權方案嗎？

一個簡單的例子是Hadoop的Kerberos身份驗證。如果你沒有使用Kerberos集成運行Hadoop，那麼擁有root訪問權限的任何人都可以模擬Hadoop集群的root用戶並訪問所有數據。其他工具如Kafka和Spark也需要Kerberos進行身份驗證。由於使用Kerberos設置這些系統非常複雜（通常只有商業版本提供支持），我們看到的大多數系統都選擇忽略Kerberos集成。

除了身份驗證問題，以下是你在此階段需要處理的一些問題：

• 審計：系統必須審計系統中的所有操作，例如，誰訪問了系統中的內容

• 多租戶：系統必須支持多個用戶和組共享同一個集群，具有資源隔離和訪問控制功能;他們應該能夠安全，安全地處理和分享他們的數據;

• 端到端安全性：系統中的所有工具都必須實施正確的安全措施，例如，所有Hadoop相關組件的Kerberos集成，所有網絡流量的https / SSL;

• 單點登錄：系統中的所有用戶在所有工具中都應具有單一身份，這對於實施安全策略非常重要。

由於大多數開源工具都沒有在其免費版本中提供這些功能，因此許多項目在安全問題上採用「撞大運」的方法並不奇怪。我們同意安全的價值對不同的項目來說有不同的理解，但人們必須意識到潛在的問題並採取適當的方法。

階段6 雲基礎架構的大數據階段

在這個階段隨著業務的不斷增長，越來越多的應用程式被添加到大數據系統中。除了像Hadoop / Hive / Spark這樣的傳統大數據系統，你現在需要使用TensorFlow運行深度學習，使用InfluxDB運行一些時間序列分析，使用Heron來處理流數據，或者一些Tomcat程序來提供數據服務API。每當你需要運行一些新程序時，你會發現配置機器和設置生產部署的過程非常繁瑣，並且有很多的坑要踩。此外，有的時候你需要臨時搞到一些機器來完成一些額外的分析工作，例如，可能是一些POC，或者要對一個比較大的數據集進行訓練。

這些問題是你首先需要在雲基礎架構上運行大數據系統的原因。像Mesos這樣的雲平台為分析工作負載和一般工作負載提供了極大的支持，並提供了雲計算技術提供的所有好處：易於配置和部署，彈性擴展，資源隔離，高資源利用率，高彈性，自動恢復。

在雲計算環境中運行大數據系統的另一個原因是大數據工具的發展。傳統的分布式系統（如MySQL集群，Hadoop和MongoDB集群）傾向於處理自己的資源管理和分布式協調。但是現在由於Mesos / Yarn這樣的分布式資源管理器和調度程序的出現，越來越多的分布式系統（如Spark）將依賴底層分布式框架來提供這些資源分配和程序協調調度的分布式操作原語。在這樣的統一框架中運行它們將大大降低複雜性並提高運行效率。

總結

我們看到過處於各種階段的實際的大數據項目。在Hadoop被採用了10多年之後，我們看到的大部分項目仍然停留在第1階段或第2階段。這裡主要的問題是在第3階段實施系統需要大量的專業知識和大量投資。Google的一項研究表明，構建機器學習系統所花費的時間中只有5％用於實際的機器學習代碼，另外95％的時間用於建立正確的基礎架構。由於數據工程師因難以培訓而非常昂貴（由於需要對分布式系統有很好的理解），因此大多數公司都很不幸的沒能走進大數據時代的快車道。

與DevOps一樣，DataOps是一個需要正確工具和正確思維的持續過程。DataOps的目標是使以正確的方式更容易地實現大數據項目，從而以更少的工作從數據中獲得最大的價值。Facebook和Twitter等公司長期以來一直在內部推動類似DataOps的做法。然而，他們的方法通常與他們的內部工具和現有系統相綁定，因此很難為其他人推廣。

在過去幾年中，通過Mesos和Docker等技術，大數據操作的標準化成為可能。結合更加廣泛的採用數據驅動的文化，DataOps終於準備好可以進入到大家的視野。我們相信這一運動將降低實施大數據項目的障礙，使每個企業和機構都更容易獲取數據的最大價值。

關於智領雲

武漢智領雲科技有限公司於2016年成立於武漢光谷，專注於大數據、雲計算領域的核心技術研發。公司創始團隊成員來自於推特（Twitter）、蘋果（Apple）和藝電（EA）等矽谷知名企業，擁有多年的雲計算和大數據系統的軟體開發、項目運作和公司管理的經驗。公司已經獲得了數千萬元國內外著名風險投資機構及天使投資人的投資。公司研發的BDOS（大數據作業系統）採用業界領先的容器技術對大數據系統需要的各種組件進行標準化和產品化，在統一的雲平台架構下運行，為物聯網、機器學習、人工智慧、商業智能、網際網路應用提供全面的大數據平台及運維支持，快速高效地實施、開發和管理一個企業級的大數據系統。BDOS使用戶可集中精力在業務邏輯上而無須考慮系統底層技術細節，極大地提高了大數據及人工智慧應用的開發效率，降低運維成本，持續高效地實現大數據價值。

真香，朕在看了！