芯東西（公眾號：aichip001）
作者 | ZeR0
編輯 | 漠影
芯東西1月10日報道，談起生成式AI熱潮的受益者，沒有人能忽略英偉達。據The Information統計，目前北美地區至少有12家AI晶片創企想從英偉達獨享的生成式AI算力紅利中分一杯羹。
12家AI晶片瞄準大模型（芯東西根據The Information表格編譯整理）
這些創企創辦時間不超過8年，其中有5家都是2022年創辦的，有4家創始成員有谷歌背景。累計融資金額最高的Cerebras，早已憑晶圓級晶片聲名鵲起；成立相對較晚的5家創企，創始成員背景也各有千秋。
總的來看，這12家盯上生成式AI算力蛋糕的北美AI晶片創企，有的定位做訓練，有的主攻推理，有些則更進一步，將其產品定位瞄準特定類型的AI模型，如多數大模型的基礎Transformer。
這是一個高風險的遊戲：這些關鍵選擇將決定初創公司是生存還是失敗。
推理一直是更受歡迎的選擇。因為很多客戶使用或微調已經被訓練過的模型，而不是從頭開始構建一個新模型。而高推理成本正對包括OpenAI在內的大模型及生成式AI公司們產生壓力。
d-Matrix、Etched.ai、Extropic、SiMa.ai、Groq正在構建專門用於某些模型架構的晶片，如為OpenAI和Anthropic的大語言模型提供動力的Transformer。這些公司認為，專用晶片比英偉達、Cerebras、Lightmatter、Rain AI、Tenstorrent等的通用晶片更快、效率更高。
但晶片研發充滿挑戰與未知。這些創企的多數產品最早要到今年年底才會上市銷售。到那時，Transformer可能已經是舊新聞了。一些開發人員已經在測試像Mamba這樣的新模型架構。
1、Cerebras
Cerebras成立於2016年。其核心產品是第二代晶圓級引擎WSE-2，將85萬個核心打包到一個處理器上，並採用40GB超快片上SRAM和比傳統集群快幾個數量級的互聯技術。Cerebras官網將WSE-2稱作是「地球上最快的AI晶片」。
Cerebras的創始成員中，CEO Andrew Feldman與CTO Gary Lauterbach曾分別是高帶寬微伺服器先驅SeaMicro的CEO和CTO，首席架構師Michael James曾任SeaMicro首席軟體架構師。SeaMicro在2012年被AMD收購。
多位OpenAI聯合創始人、Stripe前CTO、AMD前CTO兼總裁、Cadence前CEO等業界大佬都在其投資方陣容中。
2、Lightmatter
Lightmatter成立於2017年，創始團隊來自麻省理工學院。其研發的Envise光電混合計算晶片能夠滿足訓練大語言模型等任務的計算要求，並減少數據中心功耗與成本。
2023年11月，Lightmatter宣布獲得1.55億美元融資，投資方包括谷歌風投等，這筆融資是其5月份C輪融資的延續。至此，Lightmatter累計融資額超過4.2億美元，估值達12億美元。
3、Tenstorrent
Tenstorrent成立於2016年，由AMD前嵌入式工程師Ivan Hamer、AMD前集成電路設計總監Ljubisa Bajic和AMD前固件設計工程師Milos Trajkovic創辦。
矽谷頂級晶片架構師Jim Keller擔任Tenstorrent CEO。該公司累計融資額達3.85億美元，投資者包括三星、現代等，估值大約達到10億美元，躋身獨角獸企業之列。
這家AI晶片創企利用RISC-V和Chiplet技術打造可擴展、高能效的AI晶片，目前有兩款機器學習處理器Grayskull和Black Hole，其更先進的3nm AI晶片Grendel預計今年推出。
4、Groq
Groq成立於2016年年底，由多位前谷歌TPU開發團隊成員創辦。他們基於軟體定義硬體的思路，設計了一個張量流處理器TSP架構，旨在實現高性能、低延遲的AI加速。
這家創企主要研發雲端AI推理晶片，累計融資額達到3.67億美元。去年Groq LPU加速器在Meta Llama 2 70B大語言模型上實現了每秒生成超過280個token的推理性能。
5、SiMa.ai
SiMa.ai成立於2018年。創始人兼CEO Krishna Rangasayee曾在全球最大FPGA晶片供應商賽靈思工作了近20年。
這家創企在2019年推出首款AI晶片組MLSoC，主要面向計算機視覺領域的推理計算。2023年6月，SiMa.ai稱其第一代邊緣AI晶片已開始量產，正與製造、汽車、航空等行業的50多家客戶合作。
6、d-Matrix
d-Matrix成立於2019年，主要研發存內計算AI晶片。官網宣稱構建了「世界上最高效的大規模AI推理平台」，跑Llama 2 13B大語言模型的大規模推理速度「倍殺」H100和A100。
其最新數字存內計算晶片Jayhawk II採用台積電6nm製程和Chiplet D2D互連方案，可為生成式AI應用推理任務提供支撐。
該創企融資金額超過1.6億美元，投資方包括微軟、SK海力士等。微軟承諾今年將對其晶片進行自用評估。d-Matrix預計兩年內收入將達到7000萬~7500萬美元區間，並實現收支平衡。
7、Modular AI
Modular AI是這12家創企中唯一一家專注於軟體的公司，成立於2022年，致力於構建出模塊化、可組合和分層架構的AI基礎設施，包括打造編譯器、運行時環境等，開發出CUDA替代品。
這家創企在2023年8月獲得1億美元融資，投資方包括谷歌風投。其CEO是LLVM之父Chris Lattner，曾在蘋果公司領導Swift程式語言的開發，後來與Modular首席產品官Tim Davis一起在谷歌工作，負責監督AI產品開發。
2023年5月，Modular AI首次舉辦發布會，推出高效推理引擎和Mojo程式語言。其高效推理引擎可輕鬆將主流深度學習框架上的模型快速部署到伺服器或邊緣設備上。Mojo程式語言無需C++和CUDA運行環境，即可直接將類似Python語言的代碼高效部署到晶片上運行。
8、Rain AI
Rain AI成立於2017年，旨在解決使用傳統GPU訓練和運行機器學習的高成本問題。OpenAI CEO Sam Altman、百度風投都投資了這家公司。
其AI晶片設計理念受大腦啟發。早在2018年，Altman就看好Rain走得類腦晶片路線，以個人名義向Rain AI領投了一筆種子輪融資。第二年，OpenAI簽署一項不具有約束力的協議，計劃等Rain AI的晶片上市後斥資5100萬美元採購這些晶片，不過至今尚未採取後續措施。
Rain AI在2021年推出可訓練的端到端模擬AI晶片的工作原型晶片，近期的AI晶片產品則採用數字存內計算技術。截至目前，其累計融資金額約為4000萬美元。
9、MatX
MatX成立於2022年，專注於面向大語言模型開發更快的專用晶片，旨在設計出通用人工智慧（AGI）的計算平台，比英偉達GPU等硬體更快、更省錢的晶片。
其CEO Reiner Pope參與構建谷歌PaLM模型，曾寫出谷歌最快的推理軟體；CTO Mike Gunter曾參與谷歌TPU工作。
根據官網信息，MatX已獲得一些風投機構以及領先的大語言模型和AI研究人員的支持，但並未公布產品或融資額。
10、Etched.ai
Etched.ai成立於2022年10月，兩位創始人CEO Gavin Uberti和CTO Chris Zhu均在本科期間從哈佛休學，想要研發一款能加速大語言模型的AI晶片「Sohu」。
通過在硬體層面集成Transformer架構、配備144GB HBM3e顯存，Sohu晶片的推理性能將達到英偉達H100的10倍，單位價格將獲得140倍於H100的吞吐量性能。該晶片預計今年交付。
2023年6月，Etched.ai宣布獲得536萬美元種子輪融資，投資方包括包括Ebay前CEO Devin Wenig。融資後其估值達到3400萬美元。
11、Extropic
2023年的最後一個月，AI晶片創企Extropic宣布獲得1410萬美元天使輪融資。這家創企成立於2022年，創始成員CEO Guillaume Verdon和CTO Trevor McCourt來自谷歌量子AI團隊。Guillaume 被認為是量子深度學習領域的先驅。
Extropic自稱正在為物理世界中的生成式AI構建終極基礎，利用熱力學和信息的第一原理構建人工智慧超級計算機。
目前，Extropic正在研發一款能運行大語言模型的AI晶片。其晶片的核心部件是一種叫做熱力學邏輯門的微型裝置，利用了熱力學系統的能量轉換和信息處理功能把熱能等能量轉化為算力。
12、Tiny Corp
Tiny Corp成立於2022年5月，其創始人兼CEO是業界知名黑客「神奇小子」George Hotz，他也是自動駕駛創企Comma AI的創始人。2023年5月，Tiny Corp獲得510萬美元融資。
George Hotz認為，創辦AI晶片公司的唯一途徑就是從軟體開始，這家創業公司想要幫助開發人員加快訓練和運行機器學習模型的過程。其首個項目是為AMD晶片構建框架、運行時和驅動程序，短期目標是使用tinygrad框架讓AMD支持MLPerf。