圖片來源：網絡
在「數據為王」的時代，金融大數據被譽為「待挖掘的金礦」，其價值已經成為共識。
自從2014年大數據首次作為國家戰略被寫入政府工作報告，金融機構不斷引入大數據平台、構建大數據體系。
如今大數據早已成為金融機構核心競爭力的關鍵一環，其中，數據中台、大數據平台已經成為了金融機構全面數字化轉型的關鍵，金融機構服務客戶、創新產品、內部管理等都越來越依賴「數字」。
值得關注的是，近幾年數據中台興起，成為金融行業的話題之王，大數據平台被談論得相對較少。隨著雲計算、AI等技術的興起與大數據的融合加深，大數據平台已經站在了新的關口。
01
新關口
大數據技術加人工智慧等技術的應用，正在讓銀行的數據變成銀行的高價值資產，推動科技賦能和場景應用創新，進而推動內部IT系統的重構和銀行的組織架構變革。
「建立健全企業級大數據平台，充分釋放大數據作為基礎性戰略資源的核心價值。」央行印發的《金融科技(FinTech)發展規劃(2019-2021年)》曾提到。何為大數據平台？
根據2021年12月29日發布的《金融大數據平台總體要求》（下稱《要求》）的定義，金融大數據平台是企業級、分布式、開放、統一的大數據平台，應包括數據接入、數據存儲、數據處理、數據分析及數據服務相關組件。
而金融大數據平台的總體目標是幫助金融機構更高效、更快速地完成金融大數據應用的開發、部署和管理，從以交易為中心轉向以數據為中心，以應對更多維、更大量、更實時的數據和網際網路業務的挑戰。
談到大數據計算技術，不能繞開的就是開源大數據套件 Apache Hadoop。2008年Hadoop功能孵化完整之後，Cloudera（商業化公司）推出了自己的Hadoop發行版CDH（Cloudera’s Distribution Including Apache Hadoop）。CDH同樣開源，但是在穩定性、管理、部署、運維等方面對用戶更為友好，為Hadoop落地帶來了幫助。
到了2011年左右，Hadoop技術進入成熟期，再加上網際網路金融興起數據量極速膨脹，傳統的數據系統已經滿足不了金融機構的需求，於是具有分布式特徵的Hadoop系統進入到這些機構的選擇清單。
而金融機構密集落地基於Hadoop的大數據平台，還要在兩年之後。例如，農行在2013年開始建設自主可控的大數據平台，最終選定的就是MPP資料庫+Hadoop混搭的架構；2014 年工行正式基於 Hadoop 技術建設了大數據平台。
2015年之後，移動互聯推進客戶行為模式加速變革，金融機構進入到數字化轉型新時期，不僅僅是處理越來越海量的數據，而是要應對客戶行為模式變化對客戶數據進行分析，對客戶進行精準營銷等。此時很多機構將數據分析等功能切換到了Hadoop系統上。
中國信通院2019年對測試的四五十款大數據平台的統計顯示，其中基於CDH和HDP社區版二次研發的產品占70%以上。
當前大數據平台正站在新的關口。
一方面，Cloudera此前宣布在2021年底和2022年3月結束CDH6和HDP3的服務支持，轉而推出新的產品CDP。這就意味著，金融機構以往使用的CDH和HDP系統面臨全面的遷移，急需新的替代解決方案。
另一方面，金融科技信創浪潮之下，金融機構大數據平台國產化是一個趨勢性選擇。央行《金融科技發展規劃（2022-2025年）》要求，要加快制定並組織實施金融業關鍵軟硬信息基礎設施安全規劃，切實提高金融業關鍵軟硬信息基礎設施安全保障能力。
在這樣的背景下，金融機構大數據平台該何去何從？就在這個新的關口，國內第三方金融科技廠商站了出來，憑藉自身多年積累的能力和經驗，提供豐富的金融機構大數據平台解決方案。
02
新趨勢
除了行業環境的變化，大數據平台技術也呈現出了一些新的趨勢，使得金融機構對大數據平台提出了更高的要求和使命。
一是融合。大數據與雲計算、AI等技術的融合，使得平台部署在雲上已經是一個大趨勢。不過由於金融行業對公有雲使用有風險安全的考量，目前更多是混合雲架構為主。Cloudera的CDP就是一個混合雲/多雲的大數據平台。
另外是與AI的融合。如AI的智能算法等可以運用到大數據裡面去，一方面大數據給AI提供數據上的支撐；另一方面，AI使用的一些常規的算法可以反哺到大數據平台上面，去結合大數據的數據特性，可以給客戶進行精準的產品推薦。
IDC中國發布2021H1大數據平台市場份額報告顯示，整體市場規模達54.2億元人民幣，相比去年同期增速為43.5%，「市場增長的驅動力來源於數字化轉型、人工智慧的部署、行業雲的建設以及新基建的政策驅動等」。
二是實時性。金融機構經過多年對大數據平台的布局，基礎架構已慢慢成型，支撐其業務場景高效率成為新的需求。當前，隨著大數據與雲計算、AI等技術的深度融合，市場也有關鍵認為「大數據」正在快步走向「快數據」時代。對於金融機構而言，就是提升大數據的「實時性」。
例如，工行在2020年就開始建設大數據高時效類場景，即大數據平台內部除了批量計算之外，還需要實時計算、聯機分析、數據API 等平台，縮短數據端到端閉環時間，形成聯機高並發的訪問能力，提升數據賦能業務的時效。
三是前瞻性。大數據平台支撐金融機構更加了解客戶，也可以為客戶提供服務做前瞻性布局。《要求》裡面也提到，金融大數據平台具體功能技術可以劃分為基本要求和增強要求。其中，增強要求是從技術的發展趨勢和金融用戶的前瞻性需求入手提出的。這意味著，金融機構需要從客戶需求的上前瞻性地提升大數據平台的構建。
最後則是安全性。無論是使用的大數據平台技術的自主可控安全，還是對數據本身的安全要求，都被提到了更高的高度。這對金融機構選擇或構建大數據平台合作提出了更高的要求。
隨著第三方廠商的加入，讓金融機構在技術自主可控的層面有了更多的選擇。國產化趨勢給第三方服務商迎來戰略機遇期。
網易數帆推出的有數數據開發及管理平台——一站式大數據管理及開發平台，包含大數據平台與數據中台兩大核心部分，主要覆蓋大數據開發，任務調度，數據質量，數據治理及數據服務。
大數據平台層實質上也是Hadoop發行版，相比社區版本集成了Spark最新版本且擁有完善的權限管控以及審計能力，可以大幅提高業務離線ETL效率。此外，數帆針對Impala組件進行了大量的功能增強以及性能優化，保障了使用過程中的穩定性以及性能。
值得關注的是，國產化產品能否滿足金融機構的需求？金融機構如何選擇大數據平台的新方向？
03
新選擇
要回答這個問題，就要先理清金融機構目前需要什麼。
首先，金融科技自主可控、數據安全可控、成本控制、快速的服務反應是金融機構當前對大數據平台需求的關鍵詞。金融以安全為主，其數據安全和業務連續性保障的技術要求通常高於其他行業。
例如，在控制成本上，某家金融機構自身IT技術實力較強，其集群十幾個，節點數預計上百，現階段數據平台有2-3百萬軟體合作的費用。另外使用CDH版本不再更新，需要專門培養一批團隊負責維護，也會增加成本。
這就使得大數據平台的基礎軟體金融機構往往是選擇第三方廠商產品。面對這樣的情況，金融機構或繼續往CDP遷移，或選擇國產化技術的大數據平台基礎軟體進行遷移。
其次，無論選擇何種產品，金融機構會關注大數據平台產品的「普及度」，即使用的底層平台是否是具有高普及度的，例如Hadoop、Spark等。此外他們更希望產品具有開源的性質。
「金融機構對大數據整套系統的依賴性越來越明顯。」網易數帆大數據基礎技術平台負責人、資深架構師蔣鴻翔告訴輕金融，大數據平台是建立在一個低成本的伺服器的基礎之上，可以無限分布式擴展的，所以其成本、擴展性以及穩定性都是金融機構很好的選擇。
除了產品本身，金融機構越來越注重第三方金融科技公司的實力以及產品的服務，強大的技術支撐，全面的生態兼容、及時響應漏洞修復、快速更新疊代等都是供應商需要具備的能力。
當然，從目前的環境下來看，國產大數據平台已經形成了如下優勢，自主可控，將控制權掌握在企業自己手中；本地服務迅速響應、順暢溝通；合作共創，深入業務，定製化需求支持。
以網易數帆的有數數據開發及管理平台為例，即擁有開源的底座，並且支持兼容CDH核心組件生態，且在此基礎上根據技術發展趨勢進行了部分組件升級以及擴展，支持金融機構的定製化需求，例如在一個標準產品的項目里，還能支持20%~30%的定製開發需求。
在與某證券公司共建大數據平台的過程中，網易數帆主要就數據管理、安全中心、數據標準、數據質量等幾大子模塊推動開發合作，同時會依據證券行業自身的特殊需求進行定製，如用戶畫像的增強、典型的交易日調度，即數據僅在交易日加工等，從而形成更符合行業特性的平台解決方案。
網易數帆金融大數據解決方案架構
同時，網易數帆還配套一站式數據中台及豐富數據產品。在大數據發行版底層組件的基礎之上可供用戶選擇性提供一站式數據中台服務以及豐富的數據產品，方便業務開箱即用。目前，網易數帆已服務多家金融行業客戶，包括某國有銀行金融科技子公司、華泰證券、東北證券、華夏理財、華福證券等，落地性得到充分驗證。
在大數據平台這個時間關口上線契合當前金融機構需求的產品，主要也來源於網易數帆在大數據領域深耕多年，積累了完善的大數據研發生態體系以及豐富的生產線運維經驗。
在Hadoop還未問世之時，2006年網易就開始自己做分布式存儲系統。2011-12年引入Hadoop體系，用來支撐郵箱、新聞等業務。到了2015年，為解決組件分散缺乏統一管理的問題，網易開始著手開發大數據平台工具，做了類似CDH的平台整合。2018年在大數據蓬勃發展之時，網易數帆開發了數據中台，成為面向各個BU的通用工具。
到現在4年時間，網易數帆也形成了一套數據中台的方法論。
大數據技術的研發需要的是強大的科技人才隊伍的支撐。網易數帆當前大數據平台和數據中台團隊人數已達數百人，能夠提供技術支持、客戶運維、核心研發三位一體的服務保障。
本身技術過硬、產品兼容性強再加上服務的優勢，網易數帆的大數據平台產品已經受到了多家金融機構的關注。
「很多金融客戶，傾向於雲計算私有化部署，所以數帆在金融行業大數據平台往雲化部署的場景下稍微來說會慢一些。在非金融行業，其實我們已經往雲平台方向去轉了。」面對未來大數據平台雲化的趨勢，蔣鴻翔如是表示。
根據statista的測算，2019年全球Hadoop和大數據市場規模約在340億美金左右，且5年復合年增長率高達28.5%。隨著金融行業數字化轉型的深度推進，金融機構對大數據依賴性越來越強，大數據平台的這塊市場蛋糕還會越來越大。
擁有國產化大數據平台的技術廠商帶著新的產品進入市場，對金融行業而言是必然選擇，率先布局的金融機構有望更早占得先機。
文章來源：輕金融
作者：李靜瑕
免責聲明：本文、圖片均轉載自網絡，版權歸原作者所有，如有侵權請聯繫刪除。
淺析金融科技和金融生態系統的未來
九部門加碼網際網路平台金融監管！事關支付、數據、營銷、參股等……
大家都在看
信用卡產品「介質革命」，線上獲客方式的新思考
2022各大銀行春招博弈論：年輕一代擇業觀變了？銀行業招人容易留人難
文章來源: https://twgreatdaily.com/zh-cn/6de0242b60c9155d6c2c170d7136fa25.html