微軟自研晶片靴子落地，黃仁勛要打造「AI界台積電」。微軟自研晶片靴子落地，黃仁勛要打造「AI界台積電」。芯東西（公眾號：aichip001）
作者 | ZeR0
編輯 | 漠影
芯東西11月16日報道，今日凌晨，微軟在年度IT專業人士和開發者大會Ignite上推出兩款自研晶片——雲端AI晶片微軟Azure Maia 100、伺服器CPU微軟Azure Cobalt 100。
Maia 100是微軟為微軟雲中大語言模型訓練和推理而設計的第一款人工智慧（AI）晶片，採用台積電5nm工藝，擁有1050億顆電晶體，針對AI和生成式AI進行了優化，支持微軟首次實現的低於8位數據類型（MX數據類型）。微軟已經在用搜尋引擎Bing和Office AI產品測試該晶片。
Cobalt 100是微軟為微軟雲定製開發的第一款CPU，也是微軟打造的第一款完整的液冷伺服器CPU，採用Arm Neoverse CSS設計、128核。
微軟還定製設計了一個AI端到端機架，並搭配了一個「助手」液冷器，原理類似於汽車散熱器。
微軟現場展示AI端到端機架
兩款晶片明年年初開始在微軟數據中心推出，最初為微軟的Copilot或Azure OpenAI Service等服務提供動力。微軟已經在設計第二代版本的Azure Maia AI晶片和Cobalt CPU系列。
這些晶片代表了微軟交付基礎設施系統的最後一塊拼圖——從晶片、軟體和伺服器到機架和冷卻系統的一切，微軟這些系統都是由上到下設計的，可以根據內部和客戶的工作負載進行優化。
值得一提的是，生成式AI超級獨角獸OpenAI率先試用了Maia 100晶片。該晶片正在GPT-3.5 Turbo上進行測試。
OpenAI執行長Sam Altman說：「當微軟第一次分享他們的Maia晶片設計時，我們很興奮，我們一起努力改進並在我們的模型上測試它。Azure的端到端AI架構現在與Maia一起優化到晶片，為訓練更有能力的模型鋪平了道路，並使這些模型對我們的客戶來說更便宜。」
除了發布自研晶片外，微軟宣布將擴大與英偉達、AMD兩家晶片巨頭在AI加速計算方面的合作夥伴關係，為客戶提供更多價格和性能的選擇。
微軟發布了針對英偉達H100 GPU的全新NC H100 v5虛擬機系列預覽，還將在明年增加最新的英偉達H200 GPU，以支持更大的模型推理；並宣布將在Azure中加入AMD MI300X加速虛擬機，旨在加速AI工作負載處理，用於AI模型訓練和生成式推理。
英偉達創始人兼CEO黃仁勛專程來到現場，宣布推出一項AI代工服務，可以幫助部署在微軟Azure上的企業和初創公司，構建自己的定製大語言模型。
納德拉與黃仁勛握手
當微軟CEO納德拉提問未來AI創新的發展方向是什麼，黃仁勛回答說：「生成式AI是計算史上最重要的平台轉型。在過去40年里，從來沒有發生過如此大的事情。到目前為止，它比個人電腦更大、比手機更大，而且將比網際網路更大。」
一、揭秘微軟造芯實驗室：實現最大硬體利用率
微軟的雷德蒙德園區隱藏著一個實驗室，這裡擺滿了探索數字時代的基本組成部分——矽。多年以來，微軟工程師一直通過多步驟過程，對矽進行細緻的測試，秘密改進其方法。
在微軟雷德蒙德實驗室里，一位系統級測試人員正在模擬晶片在微軟數據中心內的運行情況。這台機器在真實世界的條件下嚴格評估每個晶片，以確保它符合性能和可靠性標準。（圖源：微軟）
微軟認為增加自研晶片是一種確保每個元素都適合微軟雲和AI工作負載的方式。這些晶片將安裝在定製的伺服器主板上、放在定製的機架上，隨著機架被安裝到現有的微軟數據中心中。
AI晶片微軟Azure Maia 100旨在實現硬體的絕對最大利用率，將為運行在微軟Azure上的一些最大的內部AI工作負載提供動力。
領導Azure Maia團隊的微軟技術人員Brian Harry說，Maia 100專門為Azure硬體堆棧而設計，這種垂直整合——將晶片設計與考慮到微軟工作負載而設計的更大AI基礎設施相結合——可以在性能和效率方面產生巨大的收益。
Cobalt 100 CPU是一款128核伺服器處理器，採用Arm Neoverse CSS設計構建。據微軟硬體產品開發副總裁Wes McCulloug分享，這是一種經過優化的低功耗晶片設計，可以在雲原生產品中提供更高的效率和性能。
選用Arm技術是微軟可持續發展目標的一個關鍵因素，其目標是優化整個數據中心的「每瓦性能」，這本質上意味著為每單位消耗的能量獲得更多的計算能力。
「初步測試表明，我們的性能比現有商用Arm伺服器的數據中心性能提高40%。」微軟Azure硬體系統和基礎設施副總裁Rani Borkar說。
首批由微軟Azure Cobalt 100 CPU驅動的伺服器，位於華盛頓州昆西的一個數據中心內。（圖源：微軟）
「我們正在最有效地利用矽上的電晶體。將我們所有數據中心的伺服器的效率提升相乘，這是一個相當大的數字。」McCulloug談道。
二、從2020年開始為雲造芯，給AI晶片定製機架和「散熱助手」
雖然微軟為其Xbox和HoloLens設備研發晶片已有十多年，但它為Azure創建定製晶片的努力從2020年才開始。
Azure硬體系統和基礎設施團隊的合作夥伴項目經理Pat Stemen稱，2016年前，微軟雲的大多數層都是現成的，隨後微軟開始定製伺服器和機架，降低了成本，並為客戶提供了更一致的體驗。隨著時間的推移，矽成了主要的缺失部分。
自研定製晶片的測試過程包括確定每個晶片在不同頻率、溫度和功率條件下的峰值性能，更重要的是在微軟真實數據中心的相同條件和配置下測試每個晶片。
在微軟雷德蒙德實驗室里，晶片正在進行系統級測試，在安裝到伺服器上之前，模擬它們在實際生產條件下的使用情況。（圖源：微軟）
今天公布的晶片架構不僅可以提高冷卻效率，還能優化其當前數據中心資產的使用，並在現有範圍內最大限度地提高伺服器容量。
例如，不存在機架來容納Maia 100伺服器主板的獨特需求，所以微軟從零做出更寬的數據中心機架。這種擴展的設計為電源和網絡電纜提供了充足的空間，能滿足AI工作負載的獨特需求。
在微軟雷德蒙德實驗室的一個熱室里，為Maia 100 AI晶片和它的「夥伴」定製的機架。在處理AI工作負載的計算需求時，新「助手」在機架之間循環液體來冷卻晶片。（圖源：微軟）
大型AI任務需要大量的計算、消耗更多的電力。傳統空氣冷卻方法無法滿足這些需求，液冷已成為應對這些熱挑戰的首選方案。但微軟目前的數據中心並不是為大型液冷機器設計的。因此它開發了一個「助手」，放在Maia 100機架旁邊。
這些「助手」的工作原理有點像汽車的散熱器。冷液從側板流向附著在Maia 100晶片表面的冷板。每個板都有通道，液體通過這些通道循環以吸收和輸送熱量。這些熱量會流到副翼，副翼會從液體中去除熱量，並將其送回機架以吸收更多的熱量，以此類推。
冷板附著在Maia 100 AI晶片的表面。（圖源：微軟）
McCullough強調說，機架和「助手」的串聯設計強調了基礎設施系統方法的價值。
通過控制每一個方面——從Cobalt 100晶片的低功耗理念到數據中心冷卻的複雜性——微軟可以協調每個組件之間的和諧相互作用，確保在減少環境影響方面，整體確實大於各部分的總和。
微軟已經與行業合作夥伴分享了其定製機架的設計經驗，無論內部安裝的是什麼晶片，微軟都可以使用這些經驗。
「我們建造的所有東西，無論是基礎設施、軟體還是固件，我們都可以利用我們自己的晶片，或是我們行業合作夥伴的晶片。」McCullough分享道，「這是客戶做出的選擇，我們正努力為他們提供最好的選擇，無論是性能、成本還是他們關心的任何其他方面。」
Stemen說，微軟的使命很明確：優化其技術堆棧的每一層，從核心晶片到終端服務。
「微軟的創新將進一步深入到晶片工作中，以確保我們客戶在Azure上的工作負載的未來，優先考慮性能、能效和成本。」他談道，「我們有意選擇這項創新，以便我們的客戶能夠在今天和未來獲得Azure的最佳體驗。」
大會期間，微軟還宣布了其中一個關鍵要素的全面可用性——Azure Boost，這是一個將存儲和網絡進程從主機伺服器轉移到專用硬體和軟體上的系統，從而加快存儲和網絡的速度。
三、英偉達推出AI代工服務，助攻快速定製生成式AI模型
在微軟Ignite大會上，英偉達也誠意滿滿地公布一項新進展——推出AI代工服務。
英偉達創始人兼CEO黃仁勛現場與微軟CEO納德拉進行了11分鐘的對談，分享英偉達與微軟的全面合作。
他談道，生成式AI是計算史上最重要的平台轉型，由於生成式AI，一切都變了，過去12個月，微軟與英偉達兩個團隊盡一切努力加快速度，聯手打造了世界上最快的AI超級計算機，這通常需要兩三年，而兩個團隊只用1年就構建了其中的兩個，一個在微軟，一個在英偉達。
「我們將為想要構建自己專有大語言模型的人做台積電為我們做的事情，我們將成為AI模型的代工廠。」黃仁勛說，企業需要定製模型來執行根據公司專有DNA（即數據）進行訓練的專業技能，該AI代工服務結合了英偉達的生成式AI模型技術、大語言模型訓練專業知識和巨型AI工廠。
AI代工服務能幫助企業構建跨行業（包括企業軟體、電信和媒體）的生成式AI應用定製模型。準備好部署後，企業可以用檢索增強生成（RAG）技術將其模型與企業數據連接起來。英偉達在微軟Azure中構建了此功能，以便世界各地的企業可以將其定製模型與微軟雲服務連接起來。
該服務彙集了三要素：英偉達AI基礎模型、英偉達NeMo框架和工具、英偉達DGX Cloud AI超級計算服務的集合，來提供用於創建自定義生成式AI模型的端到端解決方案。
然後，企業可使用英偉達AI Enterprise軟體部署自定義模型，以支持生成式AI應用程式，包括智能搜索、摘要、內容生成。
使用英偉達AI代工服務的客戶可以從多個英偉達AI Foundation模型中進行選擇，包括託管在Azure AI模型目錄中的全新英偉達Nemotron-3 8B模型系列。Nemotron-3 8B具有用於構建自定義企業生成式AI應用的多語言功能。
開發人員還可以訪問英偉達NGC目錄中的Nemotron-3 8B模型以及社區模型，比如專為英偉達優化以加速計算的Meta Llama 2模型。
SAP SE、Amdocs、Getty Images等均已使用該服務構建自定義模型。
SAP計劃將該服務和優化的RAG工作流程與在 Azure上運行的英偉達DGX Cloud和英偉達AI Enterprise發軟體結合使用，以幫助定製和部署其新的自然語言生成式AI copilot Joule。
結語：尚未公布具體晶片參數，如何影響雲服務定價有待觀察
可能是因為處於早期部署階段，微軟並沒有發布具體的晶片參數或性能基準。兩款晶片新品將加入微軟雲的底層硬體供應列表中，以幫助滿足對高效、可擴展和可持續計算能力的爆炸式需求。
微軟正在建設持AI創新的基礎設施，並正在重新構想數據中心的各個方面，包括優化Azure硬體系統的靈活性、電源、性能、可持續性、成本，優化和整合基礎設施堆棧的每一層，以最大限度地提高性能，使其供應鏈多樣化。
自研AI晶片能讓微軟免於過度依賴少數頭部晶片供應商。目前尚存的疑問是微軟將以多快速度將兩款晶片上架，以及這些晶片會如何幫助平衡對生成式AI體驗爆發的需求，以及將如何影響微軟Azure AI雲服務的定價。
來源：微軟，The Verge