芯東西(公眾號:aichip001)
作者 | ZeR0
編輯 | 漠影
芯東西5月30日報道,生成式人工智慧(AI)觸發了「AI時代的iPhone時刻」,每個行業都在投資生成式AI,推動對加速計算的需求,電信行業亦是如此。
在台北電腦展COMPUTEX 2023期間,英偉達(NVIDIA)與日本電信巨頭軟銀昨日宣布,合作打造一個基於NVIDIA GH200 Grace Hopper超級晶片、面向生成式AI和5G/6G應用的開創性平台。今日,英偉達技術專家進一步分享了關於這一平台的更多技術細節。
該平台預計在2023年年底開始推出。軟銀計劃在日本各地的全新分布式AI數據中心採用該平台。
雙方合作之舉,是為了在全球範圍內快速部署生成式AI應用和服務鋪平道路。軟銀正在為自動駕駛、AI工廠、增強現實和虛擬現實、計算機視覺和數字孿生開發5G應用。軟銀公司總裁兼CEO Junichi Miyakawa談道:「隨著我們進入一個社會與AI共存的時代,對數據處理和電力的需求將不斷增長。軟銀將提供下一代社會基礎設施,以支持日本的超級數字化社會。」
英偉達創始人兼CEO黃仁勛認為,對加速計算和生成式AI的需求正在推動數據中心架構的根本性變革。英偉達Grace Hopper是專為處理和擴展生成式AI服務而設計。他稱讚軟銀創建一個電信網絡來承載生成式AI服務的舉措「富有遠見」。
生成式AI的需求爆發,將重塑AI和5G數據中心,將5G數據中心改造成AI工廠。相比以往的數據中心,新型數據中心的分布將更加均衡,並能夠同時處理AI和5G工作負載。這將讓它們更好地保持峰值運行,同時保持低時延並大幅降低總體能源成本,兼具高利用率和最佳ROl。
雙方合作打造的平台,是一個面向5G和生成式AI的雲平台,與單一用途5G vRAN相比,其投資回報率達4倍。該平台將使用英偉達MGX伺服器參考架構和基於Arm Neoverse的GH200 Grace Hopper超級晶片,有望提高應用程式工作負載的性能、可擴展性和資源利用率。
具體而言,英偉達GH200超級晶片兼顧了生成式AI、5G/6G的需求,在加速5G Open vRAN上取得了高性能和高能效,能夠有效減少CPU和加速器之間的延遲。英偉達Grace Hopper和BlueField-3 DPU將加速軟體定義的5G vRAN以及生成式AI應用,而無需定製硬體加速器或專用5G CPU。此外,配備BlueField-3的英偉達Spectrum乙太網交換機將為5G提供高精度時間同步協議。
該解決方案在英偉達加速的1U MGX伺服器設計上實現了突破性的5G速度。根據公開的5G加速器數據,它實現了業內吞吐量最高的36Gbps下行鏈路容量。運營商一直難以通過行業標準伺服器實現如此高的下行鏈路容量。
NVIDIA MGX是英偉達昨日最新推出的一個模塊化參考架構,讓系統製造商和超大規模企業客戶能夠快速、經濟地構建100多種伺服器機型,適用於各種AI、HPC和英偉達Omniverse應用。
Arm執行長Rene Haas認為:「結合NVIDIA BlueField DPU、Grace Hopper,使得軟銀新的5G數據中心能夠運行最苛刻的計算和內存密集型應用,並為Arm上的軟體定義5G和AI帶來指數級的能效提升。」
軟體同樣不可或缺,英偉達Aerial 5G軟體實現了對x86和Arm的兼容。通過將英偉達Aerial軟體引入到高性能的軟體定義的雲原生5G網絡中,這些5G基站將允許運營商動態地分配計算資源,實現比競品高2.5倍的能效。
生成式AI的未來發展需要高性能、節能的計算。與英偉達的合作,將幫助軟銀的基礎設施利用AI實現更高的性能,包括對RAN的優化。軟銀將打造能夠在多租戶通用伺服器平台上託管生成式AI和無線應用的數據中心,以降低成本和更節能。
「我們期待這也可以幫助我們降低能耗,創建一個互連的數據中心網絡,用於共享資源並託管一系列生成式AI應用。」Junichi Miyakawa說。