中國類腦計算研究登Nature子刊：解鎖AI性能提升新路徑，中科院清華北大聯合成果

不同內部和外部複雜性的典型模型、神經元和網絡

論文共同通訊作者是中國科學院自動化所李國齊研究員、徐波研究員，北京大學田永鴻教授。共同一作是清華大學錢學森班的本科生何林軒，數理基科班本科生徐蘊輝，精儀系博士生何煒華和林逸晗。

Nature Computational Science期刊對此評論道：「AI研究更加貼近工程與應用，而神經科學的研究更加具有探索性。研究團隊挑戰了這一傳統觀點，並表明更詳細且生物學上更真實的神經元模型可以推動深度學習取得更大進展。」

論文地址：https://www.nature.com/articles/s43588-024-00674-9

模型的表示能力與其總複雜性（包括內生複雜性和外部複雜性）有關。動態描述更精細、更豐富的神經元具有更高的內生複雜性，而連接更廣、更深的網絡具有更高的外部複雜性。

為了增強具有簡單連接的基本模型的外部複雜性，可以擴展拓撲結構，例如通過擴大模型的寬度和深度；為了實現更高的內生複雜性，可以使動態特性複雜化，例如通過向模型中添加離子通道或將其轉換為多房室模型。兩種方法都能達到相同的總複雜性水平，並獲得相似的表示能力。

HH（Hodgkin-Huxley）神經元模型是一組描述神經元細胞膜電生理現象的非線性微分方程，直接反映了細胞膜上離子通道的開閉情況及其與膜電位變化之間的關係。

作為一個案例研究，研究人員構建了一組相當於單個HH神經元的LIF（LeakyIntegrate and Fire）神經元，這為比較和分析具有不同內部和外部複雜性的網絡提供了一種嚴格的方法。研究團隊進一步構建了不同的神經網絡，包括HH網絡、s-LIF2HH網絡、vanilla LIF網絡、二值人工神經網絡。

一種從tv-LIF過渡到HH的方法，它將外部連接的複雜性收斂到單個神經元的內部。a.HH神經元結構及相關電路圖；b. 如何將有4個tv-LIF2HH神經元的tv-LIF2HH子網絡等同於HH神經元；c.單個到連接的等效性；d.由HH神經元與tv-LIF2HH子網絡的等效連接組成的神經網絡。

上圖中，LIF2HH網絡中的每條線代表了從前一個子網絡中的4個LIF神經元到整個後一個子網絡的4個不同連接。

這項研究首先展示了脈衝神經網絡神經元LIF模型和HH模型在動力學特性上存在等效性，進一步從理論上證明了HH神經元可以和4個具有特定連接結構的時變參數LIF神經元（tv-LIF）動力學特性等效。

基於這種等效性，團隊通過設計微架構提升計算單元的內生複雜性，使HH網絡模型能夠模擬更大規模LIF網絡模型的動力學特性，在更小的網絡架構上實現與之相似的計算功能。

進一步，團隊將由4個tv-LIF神經元構建的「HH模型」（tv-LIF2HH）簡化為s-LIF2HH模型，通過仿真實驗驗證了這種簡化模型在捕捉複雜動力學行為方面的有效性。

高精度仿真情況下的等效圖。a.相同電流注入下單個HH模型和tv-LIF2HH子網絡的電位輸出；b. 按網絡中採用的模型分類的三種連接：HH、tv-LIF2HH子網絡和s-LIF2HH子網絡連接；c. 將二進位編碼器和簡化後的LIF2HH子網絡的後續實驗；d. HH神經元和s-LIF2HH子網絡的脈衝數和相對觸發時間誤差。

實驗結果表明，HH網絡模型和s-LIF2HH網絡模型在表示能力和魯棒性上，具有相似的性能，證明了內生複雜性模型在處理複雜任務時的有效性和可靠性。

同時，研究發現HH網絡模型在計算資源消耗上更為高效，顯著減少了內存和計算時間的使用，從而提高了整體的運算效率。研究團隊通過信息瓶頸理論對上述研究結果進行了解釋。

計算資源及統計指標分析。a. 每個網絡在推理和反向傳播過程中的時間消耗；b. 相同輸入的各網絡的加法運算和乘法運算的FLOP；c. 每個網絡的可訓練參數；d. 各網絡互信息歸一化值。

這些結果反駁了HH網絡比LIF網絡消耗更多資源的觀點，並證明了具有內生複雜性的小型模型方法的優勢。

該研究為將神經科學的複雜動力學特性融入AI提供了新的方法和理論支持，為實際應用中的AI模型優化和性能提升提供了可行的解決方案。

目前，研究團隊已開展對更大規模HH網絡以及具備更大內生複雜性的多房室神經元的研究，有望進一步提升大模型計算效率與任務處理能力，實現在實際應用場景中的快速落地。