數字化智能時代,提升研發效能的最優路徑是什麼?

2023-11-10   InfoQ

原標題:數字化智能時代,提升研發效能的最優路徑是什麼?

在數字化智能時代,各行業對高效研發的需求日益增強。從早期的敏捷開發、CI/CD 工程化流水線到 DevOps、DevSecOps、GitOps、DataOps、AIOps 甚至 NoOps,不同的工具和平台都是為了優化軟體生產的生命周期,以及提升組織的響應效率而生。

然而現實情況卻是,在業務驅動的研發過程中總會面臨多個環節的挑戰,例如雲平台在運維中的承載量問題、資料庫配置與變更管理問題,以及軟體開發方式的問題等。因此,想要改變這一現狀,就要在多環節找到影響研發效能提升的問題所在和解決路徑。那麼,如何提升研發效能便成為大家深入探討的話題。

11 月 4 日,InfoQ 技術公開課邀請到了滙豐科技雲與 DevOps 中國區總監劉華、滙豐科技雲平台高級專家顧問陳慶佳、滙豐科技市場與證券服務科技部後端研發工程師吳哲、滙豐科技軟體工程副經理楊珂、滙豐科技人力資源助理副總裁梁培之五位專家坐鎮,以不同的視角分享「提升研發效能」話題。

五位專家圍繞三大議題來分享雲平台自動運維的創新之路,資料庫平台解決方案的重要突破,軟體開發方法的探索實踐的相關話題,並解讀滙豐科技企業人才培養攻略。本期線上分享會的主題為「雲原生時代,揭秘提升研發效能的最優路徑」,主持人為 InfoQ 策劃編輯桑紅妍,以下為直播內容精編整理。

《雲平台自動化運維的技術探索與實踐》

滙豐科技雲與 DevOps 中國區總監 劉華

滙豐科技雲平台高級專家顧問 陳慶佳

滙豐科技是滙豐集團的一部分,滙豐集團是全球規模最大的銀行和金融服務機構之一,目標是成為客戶首選的國際金融合作夥伴。目前,滙豐集團有三大環球業務包括:財富管理及個人銀行業務,工商金融,環球銀行及資本市場。在全球擁有超過 3900 百萬的客戶,遍布 62 個國家和地區。

成立於 2006 年的滙豐科技中國擁有上萬名技術人員,在廣州和西安均設有科技中心,在上海設有技術服務團隊,主要為滙豐全球業務及職能部門提供全面的端到端資訊科技服務,涵蓋用戶體驗設計、業務分析、軟體開發、測試、部署與維護,以及資訊科技基礎設施支持。

滙豐科技策略 Vision』27

滙豐科技始終致力於把滙豐集團轉型為數字化優先的銀行,為客戶提供更好的下一代銀行服務。近年來,滙豐科技開始實施一個革命性的銀行科技策略,即 Vision』27。該策略致力於通過四大支柱和 14 個全球計劃,全面提升滙豐集團的 IT 技術建設和核心技術能力。以下是滙豐科技策略 Vision』27 的四大支柱:

  • Speed——DevSecOps 模型提高了開發人員體驗和交付效率,運維請求自動化為用戶的請求提供實時響應。
  • Scale——所有自動化和自助服務都改善了用戶的上雲體驗,促進用戶對雲的擁抱,也滿足滙豐集團內部的雲優先策略。
  • Resilience——所有自動化和自助服務讓雲平台能為更多的用戶提供及時服務。
  • People——DevSecOps 模型使自動化團隊擁 DevSecOps 文化。所有自動化和自助服務讓原來從事手工運維的成員有機會參與到自動化開發工作,提升人員的整體能力。

滙豐科技的服務和產品

作為雲平台的提供方,滙豐科技為各業務系統的開發交付團隊和運維團隊提供一個安全、合規和友好的雲平台。作為一個強監管行業,滙豐科技會在平台上面進行合規和安全方面的管控。此外,滙豐科技給用戶提供技術支持,包括創建新的雲環境、授權、培訓,以及解惑的工作。

基於滙豐科技優異的研發能力,實現了五大維度的成果:

  • 運維請求的自動化 在 2023 年,滙豐科技通過標準化操作流程,實現自助服務和自動化,手工運維工單數量減少了 62%。滙豐科技為用戶提供自助服務 API 來代替手動運維操作,每月減少 43% 的手動運維請求和數千分鐘的操作工作。從而實現用戶請求得到立即響應,用戶體驗得到大幅提升。
  • 自研上雲門戶網站 通過滙豐科技自主開發的上雲門戶網站,將複雜的流程簡單化,用戶只需要填入一些必要信息,其他信息由中央系統集成獲取,從而擁有一套可信完整的數據源,建立實時可視化的報表,能夠更快、更簡潔的完成整個上雲流程,獲取更好的上雲之旅。
  • 合規自動化 滙豐科技的使命是保護雲平台,滿足各種合規和安全的要求。為此,滙豐科技開發了大量的 Compliance Check 合規自動化程序,Vulnerability Check 漏洞掃描程序,並且引入 Airflow 任務編排的平台,從而實現高可用能力。
  • 平台 API 自動測試框架 為了確保雲平台升級的穩定性,滙豐科技編寫的 API 自動測試框架,每晚運行以監控雲平台 API 的運行狀況。同時,Terraform 測試每天運行,以監控 Terraform Provider 的穩定性。
  • 構建 DevSecOps 模型 CI 中集成了靜態代碼質量掃描和 Checkmarx,以提高我們的代碼質量並實現 DevSecOps。與此同時,滙豐科技自動化運維 CR 的準備流程,把每日運維 CR 的準備的時間從十分鐘縮短到幾秒鐘。自動化發布使我們能夠在無需人工交互的情況下,對每個用戶故事進行單獨發布,從而將發布範圍縮小,風險降到最低。

滙豐科技的技術全棧圖

關於技術全棧圖,滙豐科技雲平台高級專家顧問陳慶佳做出詳細介紹:

截至目前,滙豐科技團隊應用在雲平台主要分成三部分。第一部分,集成了多個不同類型的服務在同一台虛擬機當中,稱之為 Misc Services。第二部分,滙豐科技定製的 Airflow 平台,Airflow 是一個高效的工作流編排工具。第三部分是滙豐科技提供的代理伺服器的功能。

《解碼針對 PostgreSQL 的 DBaaS 資料庫平台解決方案》

滙豐科技市場與證券服務科技部後端研發工程師 吳哲

基於 Vision』27 的戰略定位,滙豐科技希望藉助全球化集團優勢,帶來更多領先的創新產品與數字化解決方案,加速產業轉型升級。滙豐科技市場與證券服務科技部後端研發工程師吳哲解讀了針對 PostgreSQL 的 DBaaS 資料庫平台解決方案,分享滙豐科技對 PostgreSQL 的創新應用:

出於對開源節流,以及 DevOps 轉型與實踐的考慮,滙豐科技決定將 Oracle 資料庫向 PostgreSQL 資料庫進行遷移。

PostgreSQL 方案背景

前期,滙豐科技在使用 PostgreSQL 時,採用的是比較簡單粗暴的模式。項目組需要擁有和維護自己的 PG,我們團隊使用的是微服務架構,提倡每一個資料庫對應僅且一個微服務,從而減少服務之間的依賴,加速交付。

隨著 DevOps 實踐的加深,滙豐科技提出了第一代基於 PostgreSQL 的平台化解決方案,該方案提供一套代碼層面的抽象,實現 PG 資料庫管理維護相關的功能。項目組可以自行 fork 這套代碼,進行部署和維護。

近期,隨著我們團隊對 PG 資料庫的使用,以及 DevOps 實踐的持續加深,滙豐科技提出了針對於 PostgreSQL 的 DBaaS 資料庫平台解決方案。該方案提供託管 PG 功能,用戶可以通過 API 的方式獲取 PG 資料庫,並對資料庫進行集中管理,具備資料庫監控與預警功能。

PG 方案的特性與實現

總的來說,PostgreSQL 方案擁有使用簡單、數據 / 服務恢復力、可對資料庫進行點時間修復、數據安全的四個特性。具體而言,用戶無需自己配置硬體,即可安裝 / 升級 PG。還可以採用 API 的方式去獲取 PG 資料庫,平台提供處理災難恢復和監控與預警功能。

談及未來規劃,滙豐科技正在研發一個高可用解決方案。目前,我們是半自動的災難恢復機制,研發一套自動的恢復機制可以去應對更複雜的業務需求,這個實現我們使用了 raft 算法去解決主從集群的分布式共識問題。

與此同時,滙豐科技的 PG 實例會部署在 KVM 裡面。不同物理機的 KVM 實例不允許互相訪問,所以我們需要在每一個物理機的 KVM 之外,搭建一個 proxy 解決連接的問題。

近期,滙豐科技還在規劃推出一款 AI 助手(ChatGPT)。AI 助手計劃具備兩個功能,一個針對資料庫監控場景,用戶可以通過和 AI 助手聊天去詢問資料庫的相關監控信息。另一個針對新手的使用場景,AI 助手可以指導新用戶使用,讓整個使用流程變得更加簡單高效。

面向遠期規劃,也就是 RESTfulPG 的構想。如果能夠有一個 RESTfulPG 的服務,它將能夠簡化資料庫訪問,不再需要引入複雜的資料庫驅動或者是相應的資料庫,應用程式可以通過一個通用的 http 客戶端與資料庫交互,這其中體現了跨程式語言的兼容性。

《探索 Mob 編程在滙豐科技的應用之道》

滙豐科技軟體工程副經理 楊珂

眾所周知,良好的團隊協作往往可以事半功倍,最大限度的提升工作效能,更好的促進團隊職責的履行。在分享了滙豐科技的革命性策略、產品和服務、解決方案之後,如何利用 Mob 編程來提高工作質量,成為新的議題。

什麼是 Mob 編程?Mob 編程對於企業提升研發效能有什麼影響?如何開展 Mob 編程?Mob 編程在滙豐科技的應用實踐以及帶來了哪些價值?圍繞這些問題,滙豐科技軟體工程副經理楊珂進行了分享:

Mob 編程是一種軟體開發方法,整個團隊在同一時間、同一空間和同一台計算機上處理同一件事。因此,Mob 編程涉及整個團隊在一台計算機上一起編碼,從而增強協作,主要優勢包括集體代碼所有權、知識共享和更快的問題解決,同時也存在一些挑戰比如協調、技能平衡和工作空間等。

滙豐科技 Mob 編程的實踐場景

上圖是滙豐科技相關團隊實現 Mob 編程的場景,目前的方式是兩周一個疊代,團隊會在兩周中選擇兩天作為 Mob day。在開疊代計劃會議時,我們會選擇好適合 Mob 編程的主題,根據主題提前做一些相關的準備工作,以確保 Mob day 的順利進行。

開展 Mob 編程需要遵循幾個基本原則:團隊規模儘量保持在三到六個人,並且這些人擁有能夠完成目標任務所需的技能;團隊成員中會有導航者和執行者兩種角色;角色之間的輪轉周期控制在 10-15 分鐘;在工作場所的選擇上,需要選擇一些更能適合 Mob 場景的硬體,從而保證大家清晰的看到目前發生的事情。

滙豐科技 Mob 編程的經驗教訓

滙豐科技探索 Mob 編程的過程並非一帆風順,經歷了許多坎坷和曲折,最終才摸索出一套適合團隊自己的編程之路。其中有成功和失敗,困難與挑戰,也有經驗教訓。

在成功案例里,滙豐科技完成了用戶故事的交付,生產問題的緊急修復,技術戰略削減和工具提升。

在失敗案例里,前期需要大量的技術預研工作,或者日常運維任務,再或者過於複雜的端到端業務流,上下游系統有過多的依賴等場景均不適用於開展 Mob 編程。

在整個 Mob 編程的實踐中,團隊遇到最多的困難和挑戰是把所有需要的角色都協調到 Mob day,很難在同一時間協調所有需要的角色,特別是產品負責人和架構師。此外,短時間內協調不同的意見和建議存在困難,遠程 Mob 編程的效果也不太理想。

在 Mob 編程的實踐過程中,滙豐科技總結出了一些經驗教訓。建議剛開始需要一個主持人來把控節奏;15 分鐘的輪轉時間完全不夠用,可以適當增加時間;執行者也可以參與思考和討論;過於細小和直接的工作不適合 Mob 編程;需要嚴格執行休息時間。

Mob 編程帶來的收益

通過 Mob 編程,滙豐科技完成用戶故事的交付從兩周時間縮減到一到三天。在工作效率方面,我們從衡量傳統的人力資源效率改為衡量流轉效率(flow time)。

因為是集眾人之智慧於一體而寫出來的代碼,所以代碼變得越來越標準和統一,從而提高了代碼的規範性,可讀性,可維護性。

Mob 編程是一個知識的傳遞與分享的過程,有利於個人和團隊的成長,增強團隊的歸屬感和凝聚力,提升團隊成員的滿意度。

《滙豐科技企業人才培養攻略》

滙豐科技人力資源助理副總裁 人才招聘 梁培之

毫無疑問,發展是第一要務,人才是第一資源,創新是第一動力。滙豐科技的快速發展,離不開對人才體系的重視和布局。滙豐科技一直以來都非常重視人才隊伍的培養和管理,員工晉升通道多元化,積極給優秀的人才提供發揮才能的舞台和良好的福利。

關於滙豐科技的人才發展重點,以及基於人才發展的重點進行配對的學習產品,滙豐科技人力資源助理副總裁梁培之對此進行了分享:

滙豐科技的人才發展

基於滙豐集團的業務發展戰略,以及大家在過往的學習過程中所呈現的痛點,滙豐科技的人才發展的重點聚焦在支持集團的發展轉型戰略,通過四大學習發展支柱,為大家的成長賦能,培養具有未來視野和技能的人才。

  • 提升組織學習敏銳度,這需要整個組織共同的參與去營造持續學習,開放交流的文化,打造一個學習型的組織。
  • 變革領導力和人員管理水平,針對不同層級的團隊領導者需求,定製針對性的學習產品。
  • 識別、發展和培養高潛人才,打造適應未來要求的領導人才儲備,並且特別鼓勵和提升女性領導力,幫助每一位女性在事業上獲得發展。
  • 同步企業價值和業務產出,在進行人才培養時,滙豐科技也會和集團內部其他的社團保持同步和拉起來實現組織的共同價值,從而提升員工體驗。

賦能未來的學習產品體系

面向團隊管理者、學習倡導者,以及個人貢獻者,滙豐科技還搭建了一套完整的學習產品體系,提供不同的學習產品來滿足不同人群的學習需求。上圖只是滙豐科技提供給同事學習產品中的一小部分,我們會根據大家需求的變化不斷的進行推陳出新,來優化我們的學習產品。

滙豐集團搭建了滙豐大學(HSBC University)「一站式」豐富的在線學習資源平台,方便大家根據自己的時間還有偏好,隨時隨地的進行無障礙的學習。滙豐大學賦能每位滙豐科技同事,透過全方位的學習資源,涵蓋技術、領域、流程、工具、方法論和工作方式,助力他們探知科技世界的廣度和深度。

面向即將畢業的學生或者畢業不到兩年的職場新人,滙豐科技設有數字科技管培生的項目。希望可以幫助公司培養在雲計算、網絡、數據、人工智慧等創新領域能夠解決問題的人才,提升他們在這些領域的能力,為滙豐科技源源不斷的注入新鮮血液。

寫在最後

對於本屆公開課,廣大開發者們紛紛反饋演講內容非常受用,切中自身要害,並且引發了對相關技術應用在自身業務場景下的思考,讓他們真實了解到針對 PostgreSQL 的 DBaaS 資料庫平台解決方案、開展 Mob 編程的重要性,也掌握了有效的人才培養方法。

現如今,企業已經不能靠一味地堆砌勞動時間獲得工作成果,切實提高效率才是良藥,研發效能就成為了一家科技公司的核心競爭力之一。對於企業或開發人員而言,通過提高研發效能來實現降本增效的趨勢愈發明顯,順勢而為可獲得更好發展。