作者 | 程茜
編輯 | 漠影
2023年，毫無疑問是算力需求大爆發的轉折之年，如今隨著國內兩批超20個大模型獲得審批、種類多樣的大模型相關應用顯現，企業對私有化部署的需求也水漲船高。
面向這一行業趨勢，2023年世界網際網路大會烏鎮峰會上，國內雲端RISC-V大晶片創企希姆計算就聯合國鑫發布了基於開源指令架構RISC-V打造的大模型系列一體機。其中包括2U4卡、4U8卡機，支持部署6B、7B、13B參數規模的大模型，這也是專門針對私有化部署提供的系統級解決方案。
在私有的處理器指令集Arm和x86之外，希姆計算的產品為滿足市場算力需求提供了在用戶高並發、技術自主可控方面具有優勢的新選擇。
AI大模型在推理側的新機遇與RISC-V創新架構具有的可擴展性、可編程性、超大規模等優勢特點不謀而合。
技術和場景應用的雙重優勢下，希姆計算的大模型一體機能支撐企業將基座模型進行大規模部署。
從希姆計算的大模型一體機出發，芯東西與希姆計算副總裁姚金鑫進行了深入交流，探討了大模型產業發展至今產生的顯著變化，以及專注於RISC-V架構的希姆計算在其中扮演的角色。
可以看出，大模型私有化商業部署的關鍵是對數據安全，算力自主可控以及部署成本的苛刻要求，RISC-V架構本身的開源、靈活等特性，以及希姆計算聯合生態夥伴共同打造的軟硬一體國產化方案，成為企業規模化部署大模型的堅實基礎。
一、大模型焦點轉向推理側，催生AI晶片創企新機遇
去年11月底，聊天機器人ChatGPT橫空出世，催生了新一輪的技術創新。到今天，大模型的熱度仍然不減，對於國內AI晶片企業而言，姚金鑫最大的感觸之一就是，算力需求正無限擴張，並且看不到需求的上限。
毫無疑問，AI晶片「一哥」英偉達依靠自身的技術，供應鏈資源以及生態優勢在訓練領域一騎絕塵，國內AI晶片廠家結合目前的商業環境，看到了新的市場機遇——大模型推理。
姚金鑫談道，今年前三個季度產業聚焦於訓練，現在一些面向消費者、垂直場景的大模型應用出現，接下來就是「基座模型向細分應用場景的切入，其中重要的計算就是Fine-tuning（微調）和推理」。
據了解，百度、位元組跳動、商湯、百川智能、智譜華章、螞蟻等超20個大模型通過備案，開始正式對外提供服務，相關應用產品也相繼發布，這都使得產業的焦點正在從大模型訓練擴展到規模化推理部署。
從算力層面來看，大模型訓練和推理平台的側重點不同。訓練平台的特點是大集群、高集中度、高性能，姚金鑫解釋說，訓練任務對晶片本身的算力、內存大小、帶寬、片間互聯以及網絡層面的技術要求都很高，這與模型本身的參數規模、訓練數據相關，而且直接影響大模型訓練效率以及疊代速度。
放到推理側來看，其重點在於關注單機甚至單卡在算力，內存容量和帶寬，卡間互聯能力上面的要求，還有一個更為關鍵的點在於，需要結合軟硬體一體從系統層面提升計算效率以支持儘可能多的並發用戶。
也就是說，訓練對算力的需求一定程度上取決於模型的大小，並且追求的是高性能和高穩定性，推理不僅要考慮模型的大小還需要考慮用戶的數量，側重於實現同時並發，其對算力的需求更多體現在計算效率和規模上。
值得一提的是，當下受地緣政治影響，國內半導體產業發展受限，開源、高效、成本低的RISC-V指令集架構也成為解決國內大模型落地算力需求的有效技術路徑。
這些新的變化都為基於RISC-V技術線路做數據中心晶片的希姆計算展現出新的市場機會。
二、系列一體機設備落地，場景私有化本地部署策略解析
希姆計算聯合國鑫推出的一系列針對大模型推理場景的一體機，就是這家創企在新產業變革下追逐產業機遇的有力探索。
2023年世界網際網路大會烏鎮峰會上，希姆計算正式對外發布了4U8卡一體機，此外還包括2U4卡一體機，這都是其針對私有化部署提供的系統級解決方案。
希姆STCP920系列採用12nm工藝，是基於RISC-V的人工智慧計算加速卡，具備較高的雲端AI計算能效比和可編程性，混合支持FP16/INT8數據類型。
希姆計算將其在傳統AI場景里的方案針對大模型進行了專門的優化，姚金鑫坦言，這一一體機的劣勢在於內存規格較小、帶寬較窄，這也限制了其部署千億級別模型需要多卡部署，再加上多卡之間通過PCIe和CPU之間的傳輸，會影響性能。
但是由於STCP920研發較早，已經實現大規模量產商用，而且供應鏈未受限制其優勢在如今的大模型推理場景下也更為顯著。他補充說，目前一體機可以單卡部署7B、13B參數規模的模型，並支持高強度的用戶並發。
此外，希姆計算還正在研發機頭+AI Box的產品，打造這一產品的目的為，使得標準機櫃可以容納更高的算力，同時支持更高的用戶並發。
目前，希姆計算以7B、13B參數規模的Llama 2為基座模型打造了一系列解決方案，主要面向的就是私有化部署場景。
三、RISC-V架構三大優勢，直指大模型推理場景
成立於2019年的希姆計算，是國內最早基於RISC-V做數據中心晶片設計的企業，據了解，其產品已經實現了在頭部網際網路巨頭的批量商業落地。
截至目前，希姆計算已經完成7輪融資，投資方包括中國網際網路投資基金、建銀國際、中銀國際等國家隊投資機構，以及廣州市產投基金等地方引導性基金。
精簡指令集架構RISC-V正在憑藉其開放開源的核心特點迅猛發展。據了解，2019年12月至今，RISC-V國際基金會的會員數已經從435個增加到將近4000個。
RISC-V對於AI計算的支持可以較好平衡高性能效率和高可編程性、高通用性，再加上其核心技術的開源開放、生態格局的逐漸成熟，逐步展現出強大的優勢和演進疊代空間。我們看到Meta的AI加速晶片和谷歌的下一代TPU都採用RISC-V指令集架構。
除了架構本身優勢外，姚金鑫談道，團隊當時還看到了數據中心對於AI計算需求的急速增長。這也奠定了希姆計算的發展方向。
RISC-V具有的可擴展性、可編程性和超大規模特性與大模型推理有著天然契合度。
RISC-V的優勢之一是可擴展性，可以針對計算負載進行定製和優化，具體就AI計算而言，就是根據AI應用的需求，通過擴展指令提高執行計算任務的效率。這對於在確定的工藝製程下面提升性能至關重要。
姚金鑫補充說，事實上，RISC-V指令集的DSA架構除了可以通過擴充算力、加大內存容量與帶寬來提高計算性能規格以外，還由於其具備良好的可編程性，可以更加快速地適配各類不同參數的大模型，針對新衍生的不同模型結構、運算元實現快速優化升級。
除此以外，為了適應大模型推理的需求，希姆計算還從系統層面進行提升，通過伺服器設計支持更多的用戶並發。姚金鑫談道，針對推理場景除了優化計算卡性能外，希姆計算還通過提升機櫃下容納的算力密度來支持更多的並發用戶數。這在最新禁令限制晶片算力密度的情形下，顯得尤為重要。
作為晶片設計企業，希姆計算提供給客戶的產品除了晶片還有軟硬體系統，因此面向推理場景該公司也實現了系統級交付。諸如產業園區智能化展示場景、校園管理的學工服務、法務領域的文本處理等領域。
2019年至今，希姆計算在CV（計算機視覺）、NLP（自然語言處理）等領域都有豐富的場景應用積累，對於晶片穩定性的不斷完善和優化，為支持大模型私有化部署奠定了堅實的基礎。
除了技術路線演進外，RISC-V開源社區的工作也在穩步推進。據了解，希姆計算是國際上最早開源RISC-V AI擴展指令的團隊。同時，希姆計算作為RISC-V國際基金會董事單位，也正在全力推進自研AI擴展指令的國際標準化工作。
可以看出，想要抓住產業機遇，具體的技術開發和工程實踐積累才是重中之重。
結語：瞄準大模型推理場景，探索RISC-V結構新解法
大模型產業浪潮轟轟烈烈蔓延至今，越來越多的企業、人才、資本都聚焦於此，又因為算力作為大模型重要的底座，國內AI晶片企業更是處於風口浪尖的存在。想要快速抓住機遇，除了強大的執行力外，更離不開企業的技術積累與布局。
如今大模型推理側爆發出新的機遇，最早入局基於RISC-V架構打造數據中心晶片的希姆計算，看到了AI推理側暴發出的新市場機遇，從而基於多年來在AI行業與晶片行業的布局與深耕，迅速掏出系列解決方案從而滿足其背後的算力需求。希姆計算正在從私有化本地部署推進，在大模型帶來的產業變革下，熱切尋找市場機遇。
可以看出，想要抓住產業機遇，具體的技術開發和工程實踐積累才是重中之重。