讓生成式AI訓練更高效!Rambus推出9.6GBps HBM3內存控制器IP

2023-12-07     芯東西

原標題:讓生成式AI訓練更高效!Rambus推出9.6GBps HBM3內存控制器IP

芯東西(公眾號:aichip001)

作者 | ZeR0

編輯 | 漠影

芯東西12月7日報道,晶片和IP核供應商Rambus今日宣布Rambus HBM3內存控制器IP現可提供業界領先的9.6Gbps性能,支持HBM3標準的持續演進。

HBM採用創新的2.5D/3D架構,為AI加速器提供具有高內存帶寬和低功耗的解決方案。憑藉極低的延遲和緊湊的封裝成為AI訓練硬體的首選。Rambus HBM3內存控制器IP便是專為需要高內存吞吐量、低延遲和完全可編程性應用而設計。

相比HBM3 Gen1 6.4Gbps的數據速率,Rambus HBM3內存控制器的數據速率提高了50%,總內存吞吐量超過1.2TB/s,適用於推薦系統的訓練、生成式AI以及其他要求苛刻的數據中心工作負載。

Rambus HBM3控制器模塊圖

該控制器是一種高度可配置的模塊化解決方案,可根據每個客戶對尺寸和性能的獨特要求進行定製。對於選擇第三方HBM3 PHY的客戶,Rambus提供HBM3控制器的集成與驗證服務。

在Rambus IP核部門總經理Neeraj Paliwal看來,大語言模型要求高性能內存技術不斷進步,使得HBM3成為AI/ML訓練的首選內存。

IDC內存半導體副總裁Soo-Kyoum Kim也談道,HBM是更快速且更高效的處理大型AI訓練和推理集的關鍵內存技術,比如用於生成式AI的訓練和推理。

「對於像Rambus這樣的HBM IP供應商來說,持續提高性能來支持滿足市場苛刻要求的領先AI加速器的意義重大。」Soo-Kyoum Kim說。

文章來源: https://twgreatdaily.com/382cbf1adc59d463b0d5c2224f70c782.html