Google發布第六代Trillium TPU，運算性能提升4.7倍

Google 10多年前意識到需要一款專門用於機器學習的晶片，因此2013年開始研發製造全球首款專為AI打造的加速器TPU v1（Tensor Processing Unit），並在2017年推出首款Cloud TPU。

在Google I/O 2024開發者大會，Google發布第六代TPU——Trillium，是至今最高性能且最節能的TPU。

與TPU v5e相比，Trillium每一晶片峰值計算性能提升4.7倍，Google將其高帶寬內存（High Bandwidth Memory，HBM）容量和帶寬提升1倍，晶片間網際網路（Interchip Interconnect，ICI）帶寬也提高1倍。此外，Trillium配備第三代SparseCore，這是處理超大嵌體的專用加速器，用於處理高端排名和推薦工作負載。不只如此，Trillium能源效率比TPU v5e高出67%。

Trillium可在單個高帶寬、低延遲的Pod擴展多達256個TPU。除了該Pod級別的可擴展性以外，Trillium藉助多切片技術（Multislice technology）和Titanium智能處理單元（Intelligence Processing Unit），還能擴展到數百個Pods。

Trillium幫助Google更快訓練下一代基礎模型，以較短延遲時間和較低成本提供模型服務。

TPU是Google推出許多服務的最大功臣之一，要是少了它，如即時語音搜索、照片對象識別及互動式語言翻譯，還有最先進的Gemini、Gemma、Imagen模型等無法順利問世。

（首圖來源：視頻截屏）