搶灘下一代AI晶片!後摩智能推出存算一體智駕晶片,最高物理算力256TOPS

2023-05-12     芯東西

原標題:搶灘下一代AI晶片!後摩智能推出存算一體智駕晶片,最高物理算力256TOPS

芯東西(公眾號:aichip001)

作者 | ZeR0

編輯 | 漠影

芯東西5月11日報道,昨日,國產智能駕駛大算力晶片再添一員猛將。南京AI晶片創企後摩智能發布國內首款量產存算一體智駕晶片鴻途H30,最高物理算力256TOPS,典型功耗只有35W

「這麼大的物理算力,在國產智駕晶片里目前是沒有的。」後摩智能創始人兼CEO吳強說,作為國內首款存算一體AI大算力晶片,H30的發布標誌著存算一體大算力晶片商業落地元年的開啟。

後摩智能成立於2020年底。H30是凝聚了它過去兩年心血的第一個產品,「鴻途」寄寓了「鴻鵠之志,腳踏實地,走向漫漫征途」之意。

在持續緊張的地緣關係下,算力國產化的需求不斷提速,H30則提供了一個差異化的優質智駕晶片選擇,其不依賴先進工藝的優勢也標誌著國產智駕晶片向自主可控方向又前進了一步。

吳強還劇透了後摩智能的下一階段「小目標」:用2年左右時間,實現智駕晶片大規模商用,成長為智駕晶片領域的國內頭部企業。

之後,後摩智能考慮將計算晶片延展到更多類似的應用場景,比如人形機器人、服務機器人,以及GPT/雲端推理等其它對算力和能效有更高要求的場景。在更長的時間維度,後摩智能希望做出萬物智能時代的極效計算平台,並成長為智駕晶片和智能晶片國際頭部企業。

一、錨定存算一體架構,實現六大創新突破

後摩智能聯合創始人、晶片研發副總裁陳亮說,H30晶片基於自研數字存算一體創新架構,實現了六大創新突破:大算力、全精度、低功耗、車規級、可量產、通用性

H30採用12nm工藝製程,基於SRAM存儲介質,擁有極低的訪存功耗和超高的計算密度,在Int8數據精度下可實現高達256TOPS的物理算力,同時所需功耗不超過35W,整個SoC能效比達到了7.3Tops/W

在實際測試中,H30基於Resnet50模型的Benchmark,在Batch Size等於1和8的條件下,性能分別達到8700幀/秒10300幀/秒

目前,基於H30已成功運行常用的經典CV網絡和多種自動駕駛先進網絡,包括當前業內最受關注的BEV網絡模型以及廣泛應用於高階輔助駕駛領域的Pointpillar網絡模型。基於H30打造的智能駕駛解決方案已在合作夥伴的無人小車上完成部署,這是業界第一次基於存算一體架構的晶片成功運行端到端的智能駕駛技術棧。

得益於靈活、高效的硬體架構設計,H30實現了2倍的性能提升,同時功耗降低了50%

H30的「核心AI大腦」,是後摩智能面向智能駕駛場景自主研發的第一代IPU天樞架構。在Int8數據精度條件下,其AI核心IPU能效比高達15Tops/W,是傳統架構晶片的7倍以上。

這麼高的能效比,離不開存算一體技術路線的選擇。存算一體通過直接利用存儲單元做計算,能夠打破傳統馮·諾依曼計算架構面臨的存儲牆、帶寬牆、功耗牆瓶頸,理論上可實現超過現有專用ASIC晶片的更大算力、更高能效(超過10-100TOPS/W)、更低成本,被業界視作下一代AI計算晶片的主流架構之一

隨著ChatGPT開啟大模型軍備賽,AI訓練所需的算力呈指數級增長,大模型的訓練和部署均對高算力、低延時、低功耗、低成本提出了更嚴苛的要求。不依賴先進工藝就能大幅提高算力的存算一體晶片概念隨之日趨火熱,而後摩智能採用的成熟存儲器SRAM有望成為雲端存算一體主流介質。

第一代IPU天樞架構採用多核、多硬體線程的方式靈活擴展算力,AI計算可以在核內完成端到端處理,保證通用性。基於存算一體技術思路,後摩智能用12nm工藝做到了比肩市面上7nm、5nm類似產品的性能。這對當下晶片創新的思路也提供了一種啟發。

陳亮透露說,第二代天璇架構已在研發中,第三代天璣架構已開始規劃。天璇架構將採用Mesh互聯結構,可根據應用場景的不同配置計算單元的數量,進一步提高整體性能、效率和靈活性,能夠支持成本和功耗敏感的智能終端、大模型等多場景應用。

二、從底層創新做起,不做人云亦云的國產替代

「未來萬物智能時代的計算系統,和今天的新品相比,在計算能力和效率上至少要再有1000倍以上的提升。這就是我們所追求的極致效率。」

在發布會上,後摩智能創始人兼CEO吳強談起選擇創業方向的探尋與思考,隨著摩爾定律日漸瀕臨極限,如何在不依賴先進工藝的情況下,通過底層架構創新來實現AI計算效率的極致突破?

跳出傳統馮·諾依曼架構思路的存算一體架構,成為了他眼中的最優解。

從技術原理來看,小到計算晶片,大到超級計算機系統,計算速度和能效都受到數據搬運問題的掣肘。目前存儲帶寬速度嚴重滯後於處理器的計算速度,傳統馮·諾依曼架構中,存儲與計算單元分離,數據頻繁移動和存取的耗時甚至達到運算時間的成百上千倍,並造成大量額外能耗。

而存算一體架構通過將存儲與計算功能融合,結合後摩爾時代的新型存儲器件、先進封裝、Chiplet等技術,能夠從根本上解決這些問題;由於存算一體本質上是做乘加運算的加速,它天然與要做大量矩陣運算的AI計算需求非常契合。

如今大算力已是大模型、智能駕駛等前沿AI技術競賽的「入場券」,地緣政治的影響下,不依賴先進工藝就能取得比肩傳統計算晶片算力的存算一體架構,為國產大算力晶片開闢了換道超車的新路徑。

後摩智能創始人兼CEO吳強現場展示H30

從應用領域來看,隨著存儲技術進一步成熟,存算一體可適用於從雲到端的各類計算。存算一體AI晶片起初先在端側實現商用,配套技術逐漸成熟後,已經可以完成高精度計算,將應用範疇拓展到邊緣計算和雲端數據中心。

不同於大多數國內創企的選擇,後摩智能將落地第一站設在了智能駕駛場景。

吳強解釋說,這樣做主要有三個方面的考量:首先是市場需求大;其次從技術和市場匹配的角度,存算一體帶來的技術產品優勢,和未來智能駕駛晶片的這些關鍵需求天然吻合;此外,智能駕駛的終局是要替代人類駕駛,用傳感器替代眼睛,用算法填補意識和靈魂,相當於人腦的底層智駕晶片也要無限接近於人腦計算方式和效率。

這不失為一種另闢蹊徑的選擇。當前智能駕駛大算力晶片領域競爭激烈,英偉達、高通等國際巨頭橫亘在前,如果選擇與巨頭相同的賽道,一旦先進工藝技術被「卡脖子」,後續算力提升將變得舉步維艱。而後摩智能避開巨頭的舒適區,從存算一體架構去專攻高能效,這種策略固然冒險,卻能在新賽道上占據先發優勢,並可能為其在一些更加追求性價比的中端車上爭取到市場空間。

在發布會上,中國電動汽車百人會副理事長兼秘書長張永偉談道,智能駕駛市場仍處於加速滲透的階段。存算一體作為一種創新技術,對工藝製程依賴度低,具有極高的競爭力,為智能駕駛晶片提供了更具前瞻性的技術路徑選擇。採用多種技術路徑實現晶片國產化布局,將有利於解決汽車晶片供應鏈中存在的同質化競爭問題,助力提升產業鏈的韌性和供應鏈的安全性。

當前H30晶片實現了存算一體智能駕駛晶片從0到1的突破。據信曉旭透露,H30將於6月份開始給Alpha客戶送測,後摩智能的第二代產品H50也在全力研發中,將於2024年推出,支持客戶2025年的量產車型。

三、易部署的硬體平台,「用得爽」的軟體工具鏈

無論是追求極致效率,還是讓更多客戶和生態夥伴用好存算一體晶片,除了需要優質的晶片外,也都離不開好用的軟體。

為此,後摩智能打造了基於鴻途系列晶片的智能駕駛計算使能平台Sailing平台,共三大部分:

第一部分是後摩智能提供的使能交付件,包含硬體參考平台、對應的系統軟體、軟體工具鏈等,這些是量產級別的交付水平。

第二部分是後摩智能提供的參考設計,包括OS(作業系統)、中間件和算法等,以及上層自動駕駛感知、融合、規控和定位的參考代碼。

第三部分是後摩智能與合作夥伴一起提供的傳感器部分的驗證列表和Model Zoo。

其中,後摩智能基於H30晶片打造了智能駕駛硬體平台力馭。力馭平台具有高性能、高可靠、低功耗、低成本四大特點,CPU算力高達200 Kdmips,AI算力達256TOPS,支持多傳感器輸入,功耗僅為85W,可採用更加靈活的散熱方式,實現更低成本的便捷部署,助力推動大算力智能駕駛場景的普及應用。

後摩智能創始人兼CEO吳強現場展示力馭平台

信曉旭說,後摩智能核心團隊都是AI領域二次創業的老兵,在創業伊始就重點放在打磨高效易用的軟體工具鏈上,要讓算法開發人員們「用得舒服用得爽」。因此,其軟體工具鏈的設計哲學總結為8個字——大道至簡,大道至臻

為了兼容用戶使用習慣,降低開發者學習成本,後摩智能基於H30晶片研發的軟體開發工具鏈「後摩大道」,用戶介面與其它大家熟悉的AI晶片算法開發介面是類似的,進而實現「存算一體技術是對開發者無侵入式的底層架構創新」。

據介紹,後摩大道支持PyTorch、TensorFlow、ONNX等主流開源框架,編程兼容CUDA前端語法,同時支持SIMD和SIMT兩種編程模型,兼顧運行效率和開發效率,並充分利用存算一體架構優勢、層次化的內存設計,讓編譯器能大降無效數據搬運,降低帶寬需求與時延,進一步實現了H30晶片的高效、易用。

結語:存算一體大算力晶片商用落地新階段開啟

生成式AI與大模型的爆火,加劇了AI時代對高性價比算力的渴求,也進一步催化了存算一體晶片的技術研發與商用進程。此前有多家知名行研機構預測,2023年將是存算一體走向規模化商業落地的元年,如今H30晶片的發布,開啟了存算一體大算力晶片商用落地的新階段。

在率先實現存算一體晶片在智能駕駛場景的量產落地後,後摩智能已躋身為國產智駕晶片行業的先鋒力量,證明了中國企業在晶片創新架構具備自主突破能力。在算力需求劇增的當下,如果後續能夠快速積累起客戶口碑,將軟體生態鞏固成護城河,那麼後摩智能「成為一家受世界尊重的中國智能晶片公司」的願景,或許並不遙遠。

文章來源: https://twgreatdaily.com/zh-cn/335f2cf632d6eb981423083c53f4fd5f.html