支撐百萬行代碼核心系統運轉,太平洋保險與OceanBase的升級之路

2023-07-19     InfoQ

原標題:支撐百萬行代碼核心系統運轉,太平洋保險與OceanBase的升級之路

作者 | 張俊寶

根據國資委 79 號文件, 鍵行業、關鍵企業被要求到 2027 年百分百完成信創替代,替換範圍包括晶片、作業系統、中間件、資料庫等領域。這也意味著:自 2023 年開始,企業將進入信創關鍵成果期,沒有太多試錯可能,每一個環節的選型都需要慎重抉擇,才有可能在 2027 年完成信創體系的整體建立。

作為基礎軟體的關鍵一環,資料庫選型一直是很多企業頭疼的問題,一旦選錯將會影響未來數年甚至更久的業務開展,尤其是在當前信創體系建設的關鍵成果期,時間緊張,更換難度極高。據相關媒體統計,國內市場當前存在二百多種資料庫產品,這無疑大大增加了選型難度。

那麼,如何從廣泛的產品中選擇一款符合信創要求的資料庫,並保證其與整個信創體系的上下游完美適配?解綁 Oracle 只是其中一環,如何做到與廣泛存在的 Oracle 相關服務全面解綁?更換為國產資料庫之後,如何保證性能不受影響,甚至還能有所提升?這些問題,太平洋保險用了一年的親身實踐給出了答案。

1成功解綁,一年完成 80 余個重要業務全棧國產升級

作為國內金融保險頭部企業之一, 太平洋保險在 2022 年底完成了 80 余個重要業務系統的全棧國產升級。據悉,太平洋保險在硬體上選用了海光晶片,在軟體上選用了 OceanBase 分布式資料庫和統信 UOS 作業系統軟體系統。

2021 年初,太平洋保險啟動了國產分布式資料庫的調研工作,從 功能、性能、易用性、完整性、可移植性、可靠性、擴展性、安全性等指標進行綜合評估,最終選擇用 OceanBase 進行資料庫的升級。

一方面,作為自 2010 年開始完全自主研發的分布式關係型資料庫,OceanBase 連續 10 年穩定支撐雙 11,如今已應用於超過 1/4 國內頭部金融機構,高可用、高性能、在線擴展等已經完成驗證, 高度兼容 SQL 標準和主流關係數據庫,並且成本相對較低。

另一方面,OceanBase 本身已 與信創體系廣泛的上下游完成了適配,可以在企業內部與其他國產軟硬體高效協同。

不僅如此,太平洋保險還希望替換傳統資料庫伺服器,包括 OLTP 以及 OLAP 類型的應用,解決服務總體擁有成本高以及每年維保費用高的問題。

借著將資料庫升級至國產資料庫的機會,太平洋保險還希望 建立分布式資料庫服務能力體系,提升 IT 中心對於分布式資料庫從設計、開發、質量到運維的技術 自主掌控能力,真正用好分布式資料庫技術,實現企業整體降本增效的目的。

如上訴求意味著,太平洋保險需要準備好傳統資料庫生態產品替換的全套方案及相關預案,新的資料庫不僅要支持過去所有的業務數據架構,還要能夠面向未來具備可擴展性。

2全面遷移:交易成功率達四個九,性能全面提升

資料庫選型確定後,由太保集團數智研究院、P17 項目組、資料庫團隊與 OceanBase 廠商組成的聯合攻堅組,共同協作進行技術和項目攻堅,共梳理出 321 個 oracleJob、176 張 cognos 報表、665 項視圖改造、15 項五千五百多處語法兼容改造,以及針對 DS 的數據導入導出組件重構等。 攻堅組用國產分布式架構徹底替代傳統商用主備架構,重點破除資料庫與作業系統、中間件之間的耦合

「我們廠商跟用戶側希望達到的效果是 穩定與原資料庫兼容,給到用戶側信心,讓雙方的工作變簡單,變得標準化、流程化、制式化,使雙方降低人力投入。」螞蟻集團 OceanBase 華東區金融技術服務總監郭文談道。

在標準化兼容過程中,項目組從壽險、科技到產險,到健康險和後續的養老險,已經實現了數百套系統的落地實踐;制定 33 類標準規範和 28 類最佳實踐,打磨出 16 款資料庫的專項工具,攻堅各項難點,最終實現目標。

在建設整體分布式資料庫服務能力體系時,項目組從資料庫應用設計、存儲、轉儲等方面優化出了全棧信創分布式資料庫功能架構。

具體而言,項目組對於 OceanBase 應用設計原則是儘可能讓數據訪問、操作在內存中完成,每天定期合併釋放 memstore 內存及刪除記錄空間,最大限度減少寫放大、讀放大。基於 OceanBase 存儲架構,項目組在設計集群時核心業務系統集群獨立部署,控制集群租戶數量、合理利用分區優化數據生命周期管理,以最小化容災、備份數據集,減少轉儲次數進而減少非計劃合併次數,避免讀毛刺現象。

在 P17 系統遷移過程中,「指南針」掃描出了約 6000 個改造項。如果採用人工方式進行排查,平均每 2 個問題需要 1 小時。對比來看,「指南針」為單個項目節約人力成本 12.6 人月。

「OceanBase 存儲的壓縮性能非常卓越,很省硬體成本」,太保集團數智研究院首席資料庫專家林春解釋道,保險企業都有很多大資料庫,面臨很大的分布式改造壓力,但是遷移到 OceanBase 後不用再做分布式改造了,又能做到數據資源密集利用,非常有價值。

OceanBase 無損容災、異地多活技術和混合負載(HTAP)的高性能分布式計算引擎能力再一次經受住了考驗。據悉,項目組將 Paxos 一致性算法運用於資料庫主備副本之間的同步,實現了在多數派副本正常的情況下保證數據不丟失和服務不中斷(RPO=0,RTO<30);通過 改進 LSM 樹解決了集中式資料庫無法平衡「性能」和「壓縮」的難題,降低了海量數據存儲的成本;通過向量化引擎、優化器改寫優化能力和大規模分布式並行執行技術顯著提升了處理性能。

OceanBase 讓太平洋保險對於資料庫系統有了更強的掌控力。林春表示:「 選擇一個國產的分布式資料庫,最重要的就是技術兜底能力。那麼,bug 的修復就是技術兜底能力一個很好的印證。如果你沒有對內核的掌控,沒有辦法以這麼快的速度修復 bug。」 OceanBase 400 多萬行代碼都是自己一行一行寫出來的,螞蟻集團 OceanBase 副總裁王爽談道:「完全自主研發,完全可控,我們不依賴於任何一個開源軟體。」

從 2022 年 12 月 18 號至今,P17 核心系統已經成功運行了 200 多天,確保 太平洋保險交易成功率達到了 99.99%。過往,很多人對國產資料庫的評價是:需要幾個不同的資料庫組合在一起才能達到原來一個傳統資料庫的性能。如今,太平洋保險使用 OceanBase 資料庫實現了壽險交易系統的替換,監管報送批量場景性能提升 3 倍。

現在,太平洋保險全棧信創資料庫已投產上線並在穩定運行。據悉,在保持高運行性能、高可用能力的同時,太平洋保險資料庫軟體維保費用大幅降低,設備投入也得到節省。其中,OceanBase 的高級壓縮技術,結合「資料庫瘦身」,讓太平洋保險的 存儲容量平均節省 80% 以上。與此同時,太平洋保險分析型資料庫的 數據加工處理能力提升 10 倍,構建起了全面的實時數據處理和服務能力。應用系統方面,太平洋保險全棧信創資料庫的彈性擴縮容、處理速度、數據加工能力均實現大幅提升,為集團數字化轉型打下了堅實的技術基礎。

在螞蟻集團 OceanBase 副總裁王爽看來:「信創不是簡單替換,關鍵是帶來的好處是什麼?我們認為集中式資料庫或傳統的資料庫轉向分布式資料庫,是一次對 系統實現升級的機會。我跟很多用戶聊過, 前分布式資料庫的性能已經不是問題,穩定性才是所有升級的第一要素。信創首先是『創』,然後才是『信』。創是一定要有創新,信是可控,所以我們認為實現可持續的自主可控才是符合信創標準的產品。」OceanBase 滿足了「數字經濟」時代各行業數字化轉型對基礎設施架構的新需要。

文章來源: https://twgreatdaily.com/zh-hk/65e1488ff43f92376acbebf49fc3d1a0.html