加速大模型生成式AI,AMD EPYC不在話下

2023-12-11     微型計算機雜誌

原標題:加速大模型生成式AI,AMD EPYC不在話下

北京時間12月7日凌晨,AMD在聖何塞召開的「ADVANCING AI」大會圓滿結束。

以AMD在會上談到的AI策略來看,EPYC也顯然是數據中心及AI策略里相當重要的一環,EPYC在生成式AI的端到端應用中能發揮很大作用。

先給大家回顧一下:今年6月,AMD在舊金山展示發布了代號「Geona-X」,新增3D V-Cache技術的第四代AMD EPYC 9004X系列處理器,進一步擴展了AMD EPYC 9004系列處理器在高性能技術計算應用方面的優勢,提供了更好的x86 CPU解決方案。憑藉多達 96個「Zen 4」內核和行業領先的驚人的1.1GB容量的L3 緩存,具有AMD 3D V-Cache技術的第四代AMD EPYC處理器可以顯著提高客戶在計算流體動力學(CFD)、有限元分析(FEA)、電子設計等技術計算工作負載中的性能和能效比,讓用戶可以使用更少的伺服器和更低的TCO成本來滿足需求。

不僅如此,本次AMD還推出適應原生雲計算需求,代號「Bergamo」的第4代AMD EPYC 97X4系列處理器。該系列處理器每個插槽最高可以提供128個全新的「Zen 4c」內核,可以為雲計算應用程式提供更大的vCPU 密度和行業領先的性能。

「Zen 4c」內核為雲原生應用環境而優化,通過適度減少Cache規模來使得核心面積減小35%,進而獲得更高的核心密度和每瓦性能,將x86伺服器處理器的單顆核心密度提升至128核,線程數提升至256線程,單CCD核心數提升至16核。AMD宣稱,採用「Zen 4c」內核的第 4代AMD EPYC 處理器可以為客戶將伺服器端Java操作的能效比提升2.7倍,並將每伺服器能提供的容器數量提升至3倍,可以以更高效率驅動更大規模的雲原生應用程式。

值得注意的是,除了Cache規模不同、頻率稍低,該系列處理器的其它規格與採用Zen 4核心的EPYC處理器並無不同,完全適應用戶的各種兼容性需求。新產品發布之後,AMD 第四代EPYC系列處理器在核心IPC、每核Cache、核心密度、能效比和頻率這五個維度上,針對用戶的不同需求提供了更加細分的選擇,進一步增強了該系列處理器的市場綜合競爭力。

回到本次大會,我們在Demo區看到了EPYC平台與競爭對手的直接對比數據。

在AMD展示的測試環境下,1P的AMD EPYC 9374F(32核心)戰勝了2P的競爭對手64核心平台,AI吞吐量(Throughput)甚至可以達到競爭對手的2.25倍。

AMD也展示了在企業級大語言模型Liama 2中,實際操作同樣命令的對比情況。EPYC 9654效率比對手高36%。這充分說明,如果是之前已經投資CPU的用戶,在需要進行Training訓練或者運行大模型服務時,仍然能獲得同級不錯的運行效率。EPYC也可以在LLM大模型領域發光發熱。

文章來源: https://twgreatdaily.com/zh-tw/1a35f9ef0938a940d37608b842c10763.html