英偉達再推超級晶片,快過H100,打臉大摩「泡沫」論

2023-08-09     財經無忌

原標題:英偉達再推超級晶片,快過H100,打臉大摩「泡沫」論

文 | 矽基研究室

摩根史坦利分析師剛給英偉達貼上「泡沫」的標籤,英偉達就拿出了最新一代GH 200 Grace Hopper超級晶片平台,證明這股AI熱並非搖搖欲墜的空中樓閣。

美東時間8月8日,在洛杉磯的SIGGRAPH大會上,英偉達發布新一代GH200 Grace Hopper超級晶片平台,該平台依託於搭載全球首款HBM3e處理器的Grace Hopper超級晶片(後稱GH200)。

圖源:SIGGRAPH大會

英偉達表示,新平台旨在處理世界上最複雜的生成式AI工作負載,涵蓋大型語言模型、推薦系統和矢量資料庫,將提供多種配置。

除了超級晶片平台,英偉達還發布了5款硬體新品和簡化企業級AI開發過程的AI workbench服務等內容。

其中,5款硬體新品分別是搭載全新L40S Ada GPU的新款OVX伺服器、搭載RTX 6000 Ada GPU的全新RTX工作站,以及3款高端桌面工作站GPU。

超級晶片GH200,大小模型都能用

本次發布會上,黃仁勛照舊搬出了那句標誌性的促銷口號,「買得越多,省得越多」。

同樣花1億美金,過去能買8800塊x86 CPU組成的數據中心,功耗是5MV。

在GH200面世後,這1億美金髮揮出了更大的價值。通過購買2500塊GH200組成的Ios-Budget數據中心,不僅可以將功耗降低到3MV,AI推理性能更是達到了前者的12倍,摺合能效提升20倍。

同等推理性能的情況下,Iso-Troughput數據中心只需用到210塊GH200,功耗是0.26MW,成本只有x86 CPU數據中心的二分之一,僅800萬美元。

圖源:SIGGRAPH大會

即便和英偉達的拳頭產品——在eBay上漲到4.5萬美元的H100相比,GH200的表現同樣讓人驚艷。

基於全球最快內存HBM3e,GH 200內存容量高達141GB,提供每秒5TB的帶寬。每個GPU容量達到H100的1.7倍,帶寬達1.55倍。

對於行業來說,更大的容量和更高的運行速度,意味著未來可以讓模型駐留在單個GPU上,而不必需要多個系統或GPU才能運行。

但這並不意味著GH 200就不適用於生成式AI的巨型模型,英偉達新發布的NVIDIA NVLink伺服器設計,對GH200進行了拓展。

NVIDIA NVLink將允許Grace Hopper超級晶片可以與其他超級晶片連接組合,這一技術方案為GPU提供了完全訪問CPU內存的途徑。

同時,英偉達表示,目前正在開發一款新的雙GH200基礎NVIDIA MGX伺服器系統,將集成兩個下一代Grace Hopper超級晶片。

在新的雙GH200伺服器中,系統內的CPU和GPU將通過完全一致的內存互連進行連接,這個超級GPU可以作為一個整體運行,提供144個Grace CPU核心、8千萬億次的計算性能以及282GB的HBM3e內存。

AI Workbench,讓人人都能做大模型

除了全新的超級晶片平台,另一項對行業起到促進作用的內容是AI Workbench。

英偉達認為,當前企業級AI的開發過程太過繁瑣和複雜,不僅需要在多個庫中尋找合適的框架和工具,當項目需要從一個基礎設施遷移到另一個基礎設施時,過程可能會變得更加具有挑戰性。

簡單來說,AI Workbench實現了企業級模型的快速打包和搬運,讓開發者既可以在個人電腦、筆記本電腦或工作站上快速創建、測試和定製生成式AI模型,也可以在必要時重新將其拓展到數據中心、公有雲或NVIDIA DGX Cloud。

具體到使用上,AI Workbench提供了一個簡單的用戶介面,開發人員能夠將模型、框架、SDK等信息從開源資源整合到統一的工作區中,可以在本地計算機上運行並連接到HuggingFace、Github以及其它流行開源或商用AI代碼儲存庫。

圖源:SIGGRAPH大會

英偉達表示,使用 AI Workbench 的一些主要優勢包括:

易於使用的開發平台。AI Workbench 通過提供單一平台來管理數據、模型和計算資源,支持跨機器和環境的協作,從而簡化了開發流程。

與 AI 開發工具和存儲庫集成。AI Workbench 與 GitHub、NVIDIA NGC 和 Hugging Face 等服務和 Git 伺服器集成,用戶可以使用 JupyterLab 和 VS Code 等工具跨平台和基礎設施進行開發,具有高度的可重複性和透明度。

增強協作。該項目結構有助於自動化圍繞版本控制、容器管理和處理機密信息的複雜任務,同時還支持跨團隊協作。

訪問加速計算資源。AI Workbench 部署是客戶端-伺服器模型,用戶能夠開始在其工作站中的本地計算資源上進行開發,並隨著訓練作業的規模擴大而轉向數據中心或雲資源。

Omniverse,構建工業元宇宙

具體到工業領域,演講的另一位主角——Omniverse平台,以及該平台的基礎——開源通用場景描述框架OpenUSD,打開了工業元宇宙和數字孿生場景開發的想像力。

圖源:SIGGRAPH大會

一句話介紹,Omniverse平台是一個被用於跨3D工具的連接、描述和模擬,能加快構建虛擬世界和工業數字化高級工作流程的軟體平台。

新平台的亮點包括更新開發原生OpenUSD應用及擴展的引擎——Omniverse Kit,以及英偉達Omniverse Audio2Face基礎應用和空間計算功能的更新。

Omniverse和模擬技術副總裁 Rev Lebaredian表示,更新後的Omniverse讓開發人員可以通過OpenUSD利用生成式AI強化他們的工具,並且讓工業企業能構建更大、更複雜的世界級模擬,作為其工業應用的數字測試場。

為了方便程式設計師使用,英偉達推出了一些Omniverse雲API,其中包括基於NVIDIA Nemo框架的大語言模型ChatUSD、用於檢查兼容性和生成實時的完全路徑跟蹤的交互式USD文件渲染的RunUSD、語義搜索服務DeepSearch。

黃仁勛宣布,比亞迪和梅賽德斯·奔馳合資的豪華電動汽車品牌騰勢(DENZA)已與營銷及通信巨頭WPP合作,在NVIDIA Omniverse Cloud上構建和部署其下一代先進汽車配置器。

除了上述介紹的這些新產品及更新,英偉達還推出了配備全新NVIDIA L40S GPU的NVIDIA OVX伺服器,可用於加速AI訓練和推理、3D設計和可視化、視頻處理和工業數字化等複雜的計算密集型應用;

搭載RTX 6000 Ada GPU的全新NVIDIA RTX工作站,系統可配置NVIDIA AI Enterprise或Omniverse Enterprise軟體,以支持各種苛刻的生成式AI和圖形密集型工作負載;

企業軟體平台NVIDIA AI enterprise 4.0,可提供生產就緒型生成式AI工具,並提供了可靠的生產部署所需的安全性和API穩定性。

顯然,這位大模型時代的寵兒正在用硬實力證明,英偉達並不只是晶片生產商,而是不折不扣的模型開發平台,而層出不窮的新產品和服務,則一次又一次地坐實了企業作為AI普惠核心推動者的身份。

日前,AMD發布了對標H100的MI300X,在容量和帶寬上實現了反超,意圖在「缺芯」的背景下分食英偉達的市場,但隨著GH200發布,AMD的算盤是否還能在極致性價比的衝擊下起效?

一個現實是,在群狼環伺的AI戰場上,硬體、生態兩手抓的英偉達,目前還沒發現真正的對手。

參考資料:

英偉達超級晶片GH200 Grace明年Q2投產,黃仁勛稱「AI時代,英偉達的技術可以替代傳統數據中心」|王錚Silvia

老黃又來「搶錢」:英偉達再推超強晶片平台,守住萬億晶片老大擂台|矽星人

昨夜,黃仁勛甩出最強生成式AI處理器,全球首發HBM3e,比H100還快|智東西

NVIDIA Keynote at SIGGRAPH 2023

文章來源: https://twgreatdaily.com/zh-mo/b8dc3f4e2b7ea8a12bcb778c98e192a6.html