此篇分享分為三個部分,包括 框架篇 、 架構篇 和 公共應用篇 。
框架篇 即中間件或工具的使用,如緩存、消息隊列、集中式日誌、度量、微服務框架等,工欲善其事,必先利其器。
架構篇 主要是設計思想的提升,有企業總體架構、單個項目架構設計、統一應用分層等。
公共應用篇 是業務與技術的結合,有單點登錄和企業支付網關。
如果說運維是地基,那麼框架就是承重牆。農村建住房是一塊磚一塊磚地往上壘,而城市建大 House 則是先打地基,再建承重牆,最後才是壘磚,所以中間件的搭建和引進是建設高可用、高性能、易擴展可伸縮的大中型系統的前提。
框架篇中的每篇主要由四部分組成: 它是什麼 、 工作原理 、 使用場景 和 可直接調試的 Demo。其中 Demo 及中間件歷經兩家公司四年時間的考驗,涉及幾百個應用,100 多個庫 1 萬多張表,日訂單從幾萬張到十幾萬,年 GMV 從幾十億到幾百億。
所有中間件及工具都是基於開源,早期我們也有部分自主研發如集中式日誌和度量框架。後期在第二家公司時為了快速地搭建,降低成本,易於維護和擴展,全部改為開源。這樣不僅利於個人的學習成長、知識重用和職業生涯,也利於團隊的組建和人才的引進。
集中式緩存 Redis
緩存是計算機的難題之一,分布式緩存亦是如此。Redis 看起來非常簡單,但它影響著系統的效率、性能、數據一致性。
用好它不容易,涉及到的問題包括:緩存時長(複雜多維度的計算)、緩存失效處理(主動更新)、緩存鍵(Hash 和方便人工干預)、緩存內容及數據結構的選擇、緩存雪崩的處理、緩存穿透的處理等。
Redis 除了緩存的功能,還有其它功能如 Lua 計算能力、Limit 與 Session 時間窗口、分布式鎖等。
消息隊列 RabbitMQ
消息隊列好比葛洲壩,有大量數據的堆積能力,然後再可靠地進行異步輸出。它是 EDA 事件驅動架構的核心,也是 CQRS 同步數據的關鍵。為什麼選擇 RabbitMQ 而沒有選擇 Kafka,因為業務系統有對消息的高可靠性要求,以及對複雜功能如消息確認 Ack 的要求。
集中式日誌 ELK
日誌主要分為 系統日誌 和 應用日誌 兩類。試想一下,你該如何在一個具有幾百台伺服器的集群中定位到問題?如何追蹤每天產生的幾 G 甚至幾 T 的數據?集中式日誌就是此類問題的解決方案。
早期我們使用自主研發的 Log4Net+MongoDB 來收集和檢索日誌信息,但隨著數據量的增加,查詢速度卻變得越來越慢。後期改為開源的 ELK,雖然易用性有所下降,但它支持海量數據以及與程式語言無關的特徵。下面是 ELK 的架構圖。
任務調度 Job
任務調度 Job 如同資料庫作業或 Windows 計劃任務,是分布式系統中異步和批處理的關鍵。我們的 Job 分為 WinJob 和 HttpJob:WinJob 是作業系統級別的定時任務,使用開源的框架 Quartz.NET 實現;而 HttpJob 則是自主研發實現,採用 URL 方式可定時調用微服務。
HttpJob 藉助集群巧妙地解決了 WinJob 的單點和發布問題,並集中管理所有的調度規則,調度規則有簡單規則和 Cron 表達式。HttpJob 它簡單易用,但間隔時間不能低於 1 分鐘,畢竟通過 URL 方式來調度並不高效。下圖是 HttpJob 的管理後台。
應用監控 Metrics
「沒有度量就沒有提升」,度量是改進優化的基礎,是做好一個系統的前置條件。Zabbix 一般用於系統級別的監控,Metrics 則用於業務應用級別的監控。
業務應用是個黑盒子,通過數據埋點來收集應用的實時狀態,然後展示在大屏或看板上。它是報警系統和數字化管理的基礎,還可以結合集中式日誌來快速定位和查找問題。我們的業務監控系統使用Metrics.NET+InfluxDB+Grafana。
微服務框架 MSA
微服務是細粒度業務行為的重用,需要與業務能力及業務階段相匹配。微服務框架是實現微服務及分布式架構的關鍵組件,我們的微服務框架是基於開源 ServiceStack 來實現。
它簡單易用、性能好,文檔自動生成、方便調試測試,調試工具 Swagger UI、自動化接口測試工具 SoapUI。微服務的接口開放採用我們自主研發的微服務網關,通過治理後台簡單的配置即可。網關以 NIO、IOCP 的方式實現高並發,主要功能有鑒權、超時、限流、熔斷、監控等,下圖是 Swagger UI 調試工具。
搜索利器 Solr
分庫分表後的關聯查詢,大段文本的模糊查詢,這些要如何實現呢?顯然傳統的資料庫沒有很好的解決辦法,這時可以藉助專業的檢索工具。
全文檢索工具 Solr 不僅簡單易用性能好,而且支持海量數據高並發,只需實現系統兩邊數據的准實時或定時同步即可。下圖是 Solr 的工作原理。
更多工具
會使用以上框架並不一定能成為優秀的架構師,但一位優秀架構師一定會使用框架。架構師除了會使用工具外,還需要設計思想的提升和性能調優技能。
此篇以真實項目為背景,思想方法追求簡單有效,主要內容包括 企業總體架構 、 單個項目架構設計 、 統一應用分層、 調試工具 WinDbg。
說到這裡順便給大家推薦一個架構方面的交流學習群:650385180,裡面會分享一些資深架構師整理的文檔資料和錄製的視頻錄像:有Spring,MyBatis,Netty源碼分析,高並發、高性能、分布式、微服務架構的原理,JVM性能優化這些成為架構師必備的知識體系。還能領取免費的學習資源,相信對於已經工作和遇到技術瓶頸的碼友,在這個群里會有你需要的內容。
企業總體架構
當我們有了幾百個上千個應用後,不僅僅需要單個項目的架構設計,還需要企業總體架構做頂層思考和指導。大公司與小商販的商業思維是一樣的,但大公司比較難看到商業全貌和本質。而小公司又缺乏客戶流量和中間件的應用場景,中型公司則兼而有之,所以企業總體架構也相對好落地。
企業總體架構需要在 技術 、 業務 、 管理 之間遊刃有餘地切換,它包括業務架構、應用架構、數據架構和技術架構。附檔是一份脫敏感信息後的真實案例,有參考 TOGAF 標準。但內容以解決公司系統的架構問題為導向、以時間為主線,包括企業商務模型、架構現狀、架構規劃和架構實施。
單個項目架構設計
單個項目的架構設計如同施工圖紙,能直接指導工程代碼的實施。上一環是功能需求,下一環是代碼實施,這是架構設計的價值所在。從功能需求到用例,到用例活動圖,到領域圖、架構分層,到核心代碼,它們之間環環相扣。
做不好領域圖可能源自沒有做好用例活動圖,因為用例活動圖是領域圖的上一環。關注職責、邊界、應用關係、存儲、部署是架構設計的核心,下圖是具體案例參考。
給應用分層這件事情很簡單,但是讓一家公司的幾百個應用採用統一的分層結構,這可不是件簡單的事情。它要做到可大可小、簡單易用、支持多種場景,我們使用 IPO 方式:I 表示 Input、O 表示 Output、P 表示 Process,一進一出一處理。應用系統的本質就是機器,是處理設備,也是一進一出一處理,IPO 方式相對於 DDD 而言更為簡單實用。
調試工具 WinDbg
生產環境偶爾會出現一些異常問題,而 WinDbg 或 GDB 就是解決此類問題的利器。調試工具 WinDbg 如同醫生的聽診器,是系統生病時做問題診斷的逆向分析工具,Dump 文件類似於飛機的黑匣子,記錄著生產環境程序運行的狀態。
主要介紹調試工具 WinDbg 和抓包工具 ProcDump 的使用,並分享一個真實的案例。N 年前不知誰寫的代碼,導致每一兩個月偶爾出現 CPU 飆高的現象。
我們先使用 ProcDump 在生產環境中抓取異常進程的 Dump 文件,然後在不了解代碼的情況下通過 WinDbg 命令進行分析,最終定位到有問題的那行代碼。
先工具再框架,然後架構設計,最後深入公共應用。公共應用因為與業務系統結合緊密,但又具有一定的獨立性,所以一般自主開發,不使用開源也不方便開源。公共應用主要包括單點登錄、企業支付網關、CTI 通訊網關(簡訊郵件微信),此次分享單點登錄和企業支付網關。
單點登錄
應用拆分後總要合在一起,拆分是應用實施層面的拆分,合成是用戶層面的合成,而合成必須解決認證和導航問題。單點登錄 SSO 即只需要登錄一次,便可到處訪問,它是建立在用戶系統、權限系統、認證系統和企業門戶的基礎上。我們的憑證數據 Token 使用 JWT 標準,以解決不同語言、不同客戶端、跨 WebAPI 的安全問題。
企業支付網關
企業支付網關集中和封裝了公司的各大支付,例如支付寶、財付通、微信、預付款等。它統一了業務系統調用各支付接口的方式,簡化了業務系統與支付系統的交互。
它將各種支付接口統一為支付、代扣、分潤、退款、退分潤、補差、轉帳、凍結、解凍、預付款等,調用時只需選擇支付類型即可。企業支付網關將各大支付系統進行集中的設計、研發、部署、監控、維護,提供統一的加解密、序列化、日誌記錄,安全隔離。