Rambus HBM3速率達到9.6 Gbps,大幅提升AI性能

2023-12-15   DoNews

原標題:Rambus HBM3速率達到9.6 Gbps,大幅提升AI性能

DoNews12月15日消息,在人工智慧大模型浪潮的推動下,AI訓練數據集正極速擴增。以ChatGPT為例,去年11月發布的GPT-3,使用1750億個參數構建,今年3月發布的GPT-4使用超過1.5萬億個參數。海量的數據訓練,這對算力提出了高需求。

而HBM(高頻寬存儲器)作為內存的一種技術類型,採用創新的2.5D/3D架構,能夠為AI加速器提供具有高內存帶寬和低功耗的解決方案,同時憑藉極低的延遲和緊湊的封裝,HBM已成為AI訓練硬體的首選。

TrendForce預估,2024年全球HBM的位元供給有望增長105%;HBM市場規模也有望於2024年達89億美元,同比增長127%;預計2025年HBM市場規模將會突破100億美元。

近日,作為業界領先的晶片和IP核供應商, Rambus Inc.(納斯達克股票代碼:RMBS)宣布Rambus HBM3內存控制器IP現在可提供高達9.6 Gbps的性能,可支持HBM3標準的持續演進。

大幅提升AI性能 提供領先支持

眾所周知,JEDEC(電子工程器件聯合委員會)將DRAM分為標準DDR、移動DDR以及圖形DDR三類,HBM則屬於圖形DDR中的一種。

在設計上,HBM包含了中介層,以及處理器、內存堆棧。HBM通過使用先進的封裝方法(如TSV矽通孔技術)垂直堆疊多個DRAM,與GPU通過中介層互聯封裝在一起,打破了內存帶寬及功耗瓶。這也讓傳輸速率成為了HBM的核心參數。

從2014年全球首款HBM產品問世至今,HBM技術已發展至第四代,分別為HBM、HBM2、HBM2e、HBM3,帶寬和容量分別從最初128GB/S和1GB提升至819GB/S和24GB,傳輸速度從1Gbps提高至6.4Gbps。據悉,第五代HBM3E已在路上, 由SK Hynix、美光和三星共同發布,它所支持的數據傳輸速率達到9.6Gb/s。

對於HBM而言,Rambus並不陌生,早於2016年就入局了HBM市場。此次發布的Rambus HBM3內存控制器IP專為需要高內存吞吐量、低延遲和完全可編程性應用而設計。相比HBM3 Gen1 6.4 Gbps 的數據速率,Rambus HBM3內存控制器的數據速率提高了50%,總內存吞吐量超過1.2 TB/s,適用於推薦系統的訓練、生成式AI以及其他要求苛刻的數據中心工作負載。

Rambus 接口IP產品管理和營銷副總裁 Joe Salvador介紹稱,該控制器是一種高度可配置的模塊化解決方案,可根據每個客戶對尺寸和性能的獨特要求進行定製。目前已與SK海力士、美光、三星完成了一整套的測試。對於選擇第三方HBM3 PHY(物理層)的客戶,Rambus還提供HBM3控制器的集成與驗證服務。

就當前HBM市場發展格局,Joe Salvador坦言道:「目前為止還沒有了解到有哪一家競爭對手跟我們一樣,已經有經過驗證的能夠去支持HBM3 9.6Gbps傳輸速率的內存控制器IP。Rambus HBM3內存控制器將以高達9.6Gb/s的性能,為HBM3提供業界領先的支持。」

同時,Joe Salvador表示,一家企業想進入到HBM行業會面臨相應的一些門檻和有諸多的挑戰,首先就是對於總體架構設計的複雜度和了解程度不夠。Rambus正是得益於積累了多年的技術經驗和跟主流內存廠商合作的經驗,使得所設計出來的內存控制器可以做到高性能、低功耗,而且對於客戶來說成本也相對較低,且具有很好的兼容性。

AI時代 Rambus將全面發力

當前大模型的百花齊放,讓HBM也水漲船高。

但面對當前AI發展趨勢,Joe Salvador直言道,目前來說,我們無法預知它未來會發展到何種程度。「目前,還沒有看到AI相關的應用領域,對於高性能計算、更高的帶寬和內存容量的需求有任何下降的趨勢。所以在可以預見的將來,這都會一直推動我們持續地創新,以及推動整個行業進一步地創新。」

他還表示,目前可以看到的是,AI的應用場景正在從以前集中在數據中心當中,逐漸地向邊緣計算去拓展。對於Rambus來說,這也就意味著我們業務的重心將有可能不再像以前那樣全部集中在數據中心當中,而是也會隨著市場需求囊括邊緣計算的場景。

Rambus 大中華區總經理蘇雷補充稱,AI向前發展對技術方面的需求,主要就是算力和內存,算力方面可能不會有太多的挑戰,目前擺在業介面前的更多是存儲的問題。而Rambus是存儲方面的專家,可以預見到伴隨著AI的新成長,Rambus會在這一輪的科技浪潮中發揮越來越重要的作用,助力AI的成長。