作者 | 冬梅
隨著科技的飛速發展，銀行業和金融科技都面臨著巨大的挑戰和機遇。在這個數字化時代，消費者對銀行業和金融科技的服務提出了更高的要求，要求更便捷、更高效、更安全的金融服務。
金融科技公司憑藉其先進的科技技術和靈活的創新模式，在支付、借貸、投資等領域不斷拓展市場份額，給傳統銀行業帶來了巨大的壓力。但同時，銀行業也從金融科技中看到了巨大的機遇。銀行業可以利用金融科技的技術和模式，提升服務效率，優化客戶體驗，擴大市場份額，實現業務的數字化和 智能化。
華夏銀行就是這場數智化浪潮中緊跟時代的先行者。經過幾年的自研 資料庫 遷移與改造，目前華夏銀行已經完成了 40% 以上的老舊資料庫系統替換，實現了由管理類業務系統成熟的應用，逐步向核心系統的試點推進。那麼，是什麼樣的契機推動了華夏銀行對資料庫系統進行改造？在對資料庫進行調研、測試、選型與推廣方面都做了哪些工作？針對自研資料庫的建設上華夏銀行又有哪些經驗值得分享？在此次 2023 可信資料庫發展大會上，InfoQ 有幸採訪到了華夏銀行資料庫專家王輝，聽他來聊一聊華夏銀行的資料庫遷移改造技術實踐。
為什麼要改造資料庫系統？
InfoQ：很高興採訪到您，您能簡單介紹下自己嗎？包括之前的一些工作經歷？
王輝：你好，非常榮幸能夠接受 InfoQ 的專訪，我叫王輝，來自華夏銀行信息科技部基礎技術研究室，主要負責國產分布式資料庫的調研、測試、選型與推廣相關工作，之前主要從事 Oracle、MySQL 等商用資料庫的開發與運維相關工作。
InfoQ：以您的視角來看，近些年來銀行業經歷了哪些變革？是什麼需求促進了華夏銀行資料庫系統的改造？
王輝：資料庫 在銀行主要經歷了以商用為主的集中式，逐步向開源和分布式試點，最終採用國產分布式為主的轉變，主要需求來自於業務驅動、技術驅動兩方面，業務驅動主要是由於隨著數字化時代的來臨，數據呈現爆髮式增長，數據的存儲和訪問都面臨重大的挑戰，傳統資料庫架構 受限於單機資源瓶頸，不具備水平擴展能力，使其海量 數據的處理能力 較弱，難以滿足新業務場景需求。技術驅動主體現在實現金融科技創新對核心技術實現自主掌控的要求，同時進行深入研究和場景適配的攻關，推進金融業信息化核心技術安全可控標準建設的目標。
InfoQ：在資料庫替換之前，華夏銀行的 IT 架構和採用的資料庫是什麼，在業務中老舊的架構和資料庫遇到了怎樣的問題？
王輝：IT 架構主要以商用的 IOE 集中式架構為主，資料庫在 TP 場景絕大部分採用的 Oracle，AP 場景以 TD、Oracle 一體機為主。主要存在集中式架構擴展能力差，成本較高，資料庫 高可用切換能力弱，同城數據複製存在數據丟失風險等問題。
InfoQ：華夏銀行的資料庫替換是由管理類業務系統成熟的應用，逐步向核心系統的試點，這兩種系統在對資料庫的要求上有什麼區別嗎？
王輝：在容災級別、高可用、高性能、高擴展能力等方面要求不同。核心系統容災級別為最高級別，需滿足生產、同城、災備三數據中心機房，同城 RPO=0，RTO<1 分鐘，數據強一致、零丟失，又要具備自動高可用切換能力，高並發訪問性能，資料庫響應時間延遲低，及更靈活的彈性擴展能力等要求，對保障業務的連續性與穩定性能力也要求更高。而管理類業務系統要求相對較低，大部分為內部使用，屬於次重要或一般類業務系統，等保和容災級別也要求較低。雖然不乏有金融機構直接拿核心類業務進行試點，但為了穩妥起見，大多數金融機構都以管理類業務系統試點為切入點。
InfoQ：資料庫選型過程中，您和團隊都考慮了哪些因素？進行了哪些前期工作？為什麼最終會選擇分布式？
王輝：資料庫選型主要考慮產品能力、服務能力、同業案例、生態建設和公司資質等方面。前期工作主要包括：技術調研、技術交流、市場調研、產品測試、產品選型等方面。
集中式資料庫基本都不具備分布式能力，無法滿足高並發、大數據量的業務場景需求，而絕大部分分布式資料庫都具備集中式和分布式兩種部署模式，可以滿足不同業務不同場景的要求。
InfoQ：採用了新架構和新的資料庫後，業務上帶來了哪些改善？收益是否有明顯提升？
王輝：分布式 的優勢在於存算分離，將數據分散到多個節點進行存儲與計算，從而提升資料庫的整體處理能力。因此帶來的改善首先體現在性能方面，具體實踐中雖然對於本身業務壓力就比較小的系統提升並不明顯，但對於交易量大的系統提升較為明顯，TP 場景下，以核心借記卡系統為例，採用分布式架構後，TPS 提升 1.5 倍。AP 場景由於其數據量大，數據節點多等特點，更能體現出分布式計算的優勢，替換後提升明顯，平均性能提升 1.5-2 倍，以 CRM 系統為例用戶響應時間由 30s 下降到 3s，極大的提升了用戶體驗。其次在成本方面，對比商用小型機、企業級存儲，分布式資料庫只需要運行在 X86、ARM 等架構的 PC 伺服器上，同時軟體費用相比較商用資料庫較低，相關維保費用也較低，雖然分布式部署設備較多，但總體上成本還是有所降低的。
當然，分布式其實是一把雙刃劍，用好了會事半功倍，但如果前期規劃設計不好，反而會造成性能下降。在使用分布式架構時我們需要進行全面的評估分析，儘量避免分布式事務，分片鍵設計不合理等情況的發生。另外需要指出分布式資料庫的集中式部署模式能滿足大部分業務需求，我行也占有較大的比重，我們完全沒有必要為了分布式而分布式。
自研資料庫遷移平台的建設實踐
InfoQ：整個資料庫改造過程共耗時多久？分為哪幾個階段？這其中遇到過哪些技術上問題？又是如何解決的？
王輝：整個資料庫改造過程大概分成如下幾個階段：
改造評估：收集相關信息評估改造成本，評估報告編寫；
規劃設計：資料庫選型、架構設計、模型設計、環境部署；
適配測試：業務代碼與資料庫語法改造，功能、非功能及高可用測試；
數據遷移：數據對象與數據遷移，數據一致性比對與驗證；
服務交割：系統上線與回退策略制定及後期運維、監控與故障處置等。
耗時大概在半年左右。資料庫改造過程耗時主要取決於業務複雜度、數據量大小、兼容性及運維備份要求等方面，一般情況下業務系統資料庫改造的平均時間在半年左右。
在資料庫改造過程中遇到的主要問題是業務開發代碼與新資料庫的兼容性適配，包括對象、語法、連結驅動等適配改造，另外就是商用資料庫如何完整、高效的遷移到國產資料庫問題，最後還涉及到上線後的運維監控與備份等問題。
我們的解決方案是自研了幾個工具平台來完成這項工作。
我們搭建了開發工具平台——自建龍躍（iGO）資料庫遷移平台。實現了在業務代碼不修改或少量修改的情況下與新資料庫的適配，同時具備數據平滑、高效的數據遷移能力解決了資料庫改造過程遇到的兩大難題，提升了改造效率。
還建立了統一運維平台，實現現有資料庫與我行一體化監控平台的對接，並建立統一的資料庫運維管理平台。此外我們還推動了平台生態建設，推動了國產備份、安全等服務廠商與國產資料庫的適配認證。
InfoQ：您能介紹下華夏銀行在資料庫改造過程中自研了哪些平台或工具？效率是怎樣的？為什麼沒有選擇市場上現成的平台或工具而要自研呢？
王輝：主要研發了資料庫遷移平台，存儲過程覆蓋率檢測工具，SQL 審計平台，應該說為資料庫的改造既降低了成本又提高了改造效率，隨著平台不斷地成熟與完善，原來的改造要用年來計算，現在可以實現月甚至周來計算。
因為我們非常明確資料庫的改造需求，也具備有實力的開發團隊。另外市場調研結果顯示針對國產資料庫的遷移平台並不多，也很難覆蓋我行的資料庫種類，雖然各資料庫也有自己的遷移工具，但都各自分散不便於統一管理，而且在數據遷移過程中遇到特殊情況自己研發的平台可以快速響應，可定製開發，比較反饋給廠商效率要高很多，同時還實現了自主可控與技術創新。另外兩個平台也有類似同樣的思考。
InfoQ：這款自研的資料庫遷移平台是如何搭起來的？它有哪些關鍵的部分？其中的技術難點有哪些？
王輝：2019 年我們認識到資料庫的改造，遷移是重要且必須的一環，未來一定有很多的需求，因此在同年開始組建團隊，討論需求、設計與研發，那個時候國產資料庫引入剛開始，資料庫改造並不多，也給了我們更多的時間。那個時候市場的遷移工具並不多，且對國產資料庫的支持很少。
這過程中的關鍵部分有兩大塊：資料庫遷移平台架構分為 monitor 和 worker 兩大組件，monitor 主要是 web 頁面進行遷移任務操作和日常系統管控還有任務調度能力等。worker 主要負責主要對象語法轉換、數據遷移和數據校驗。
遇到的技術難點就是各種字符集差異、時區差異轉換，全量數據的快速同步，增量數據斷點續傳，資料庫快速回退技術等。
資料庫改造後為業務帶來了哪些價值？
InfoQ：資料庫遷移改造後，要把技術價值轉變為業務價值，還會存在哪些阻力？怎麼解決這些問題？
王輝：技術與業務之間的溝通障礙，導致難以理解和傳達技術變革對業務的實際影響。通過建立良好的技術和業務團隊之間的溝通渠道，確保彼此了解對方的需求和期望。可以組織定期的會議，交流小組或培訓來加強溝通和理解。
技術變革帶來人才轉型，員工對變革可能存在牴觸情緒，在接觸新技術時需要適應和調整自己的角色和技能。一般通過提供培訓和支持，幫助員工適應和接受新的工作方式，建立反饋機制，鼓勵和回應員工的意見和關切。對創新標兵給與獎勵以鼓舞大家的熱情。
資料庫遷移改造後會給業務帶來性能和用戶體驗的提升，但也會存在一定風險，因此需要我們在上線前做好全面壓力測試，同時要建立上線後的快速應急處置方案。
InfoQ：那麼，在未來數字經濟背景下，您認為科技金融該如何更好地服務於客戶？
王輝：在未來數字經濟背景下，科技金融需要不斷創新和改進。通過大數據、人工智慧、生物識別、區塊鏈等技術平台，實現數字化創新、數據驅動決策、信息安全保護的客戶服務，面推進金融服務線上化、移動化、智能化，提升場景和生態對接能力，滿足客戶的多樣化需求，為客戶提供更便捷、高效、安全的金融服務。
InfoQ：未來，在數字化進程中，華夏銀行還有哪些動作和布局？
王輝：在國家大力發展數字化經濟背景下，產業數字金融是一個重要發力方向，華夏銀行未來將在金融數字化促進產業升級領域有更多布局。以產業鏈協作體系中的商流、物流、服務流、信息流、資金流等數字信息為基礎，創新運用包括大數據、區塊鏈、5G、物聯網、隱私計算等在內的數字化技術，整合各條線金融服務，為產業鏈各類參與主體提供綜合化的產業數字金融服務。
採訪嘉賓：
王輝，華夏銀行資料庫專家
點擊底部閱讀原文訪問 InfoQ 官網，獲取更多精彩內容！
今日好文推薦
OpenAI 遭遇離職潮：員工對 ChatGPT 進展緩慢失望，痛批 CEO 不務正業
阿里改革，P8 成為歷史；GPT-4 模型架構泄露；OpenAI 面臨最嚴調查，Altman 驚慌連發 3 推｜Q 資訊
神器還是垃圾？那些用 AIGC 編程的人，實踐得怎麼樣了
甲骨文火上澆油、SUSE投入1000萬美元，多方「圍剿」紅帽：「紅帽負擔不起？那我們來！」