科學家提出基於昆蟲大腦時空記憶學習模型,為類腦智能提供新視角

2023-12-22     DeepTech深科技

原標題:科學家提出基於昆蟲大腦時空記憶學習模型,為類腦智能提供新視角

Meta 首席人工智慧科學家楊立昆(Yann LeCun)曾指出,當前 AI 智能遭遇瓶頸。他認為,大型語言模型並非真的理解世界知識。

那麼,從其他角度來理解世界,有怎樣的可能性呢?

近期,英國愛丁堡大學團隊從生物學和神經科學角度出發,提出基於螞蟻大腦時空記憶學習模型,為理解人腦智能提供了新視角。

圖丨朱樂在實驗室和昆蟲機器人的合照(來源:朱樂)

該研究第一作者兼通訊作者、愛丁堡大學朱樂博士表示,該研究的意義在算法層面的提升以及硬體層面的創新。

具體來說,算法層面的創新在於,基於 GPS 或地圖定位的導航方法,需要具備精準的實時定位,需要對全局地圖進行存儲,並不適用於所有機器人硬體。

基於序列圖片的機器視覺匹配技術 SeqSLAM 由於考慮了圖片的序列關係,可以提升匹配的準確度。「但是,通常更加是適配超長路徑採集的數據集,需要圖片採樣時間更加離散,幀與幀之間圖片差距大,才能不產生誤判斷。」朱樂表示。

在硬體創新方面,研究人員採用了類腦計算平台(neuromorphic computer)和擬生物視覺的事件相機(event based camera)。事件相機可以在超高時間精度上(納秒級別)進行像素變化的異步傳感。

通過使用英國曼徹斯特大學研發的類腦計算機 SpiNNaker,該系統一方面可以將脈衝神經網絡的訓練和運行速度提升百倍,達到實時輸入及輸出的效果。另一方面,也極大地降低了功耗,相較於 GPU 的動則幾百瓦(W)的功耗,該機器的單晶片功耗只有 1W 左右。

在當下大模型大參數應用盛行的時代,硬體價格和超高功耗使大模型研究成本過高。在思考如何將模型做大做強的同時,另一個研究方向是如何做出「小而美」的智能機器。

以昆蟲大腦作為靈感來源

磨菇體/蕈狀體(mushroom body)是昆蟲大腦中的學習中心和記憶中心。研究人員對磨菇體中凱尼恩細胞之間的新發現的橫向連接,做了假設並驗證。

近年來,在磨菇體的研究過程中,神經學家發現一種新型的連接,即神經元的軸突和軸突之間有橫向連接,這種連接可以在同層神經元之間的輸出端互相影響,在不影響神經元輸入和計算過程的條件下,改變神經元的輸出值。

圖丨 A、B:常見的軸突到樹突的神經突觸結構,C、D:新型軸突對軸突連接(來源:Science Robotics)

這種新型橫向連接的神經學作用此前未被驗證,同時由於精度太高,現有神經學研究手段很難直接對這種連接進行直接操作,去驗證它的功能,生物神經網絡的價值因此凸顯。

該課題組在前人研究的磨菇體神經網絡中,加入了這種新型連接,驗證其在學習連續時空記憶中的作用,並和昆蟲的導航行為學結合,搭建了機器人模型。

(來源:PLoS computational biology)

在前人基於蘑菇體建模的離散圖片學習模型中,存在一些局限性。一方面,忽略了生物層面眼睛連續傳感和大腦連續學習的機理;另一方面,單純的圖片記憶會導致機器人在岔路、環路等情況下出現無法判斷的情況。

該研究中基於螞蟻大腦時空記憶學習模型解決了上述兩種問題,可在小環境中,視覺標誌缺乏或環境元素單一重複的情況下,實現高精度的連續時空記憶學習,該基於視覺的記憶可以用來判斷環境的熟悉度,用於機器人循跡和導航。

(來源:Springer)

朱樂表示,在系統精簡效率高的智能方面,自然界給研究團隊提供了很多優秀的範例,昆蟲大腦的簡單神經系統和高度靈活魯棒的智能行為就是很好的學習範例之一。

(來源:Science Robotics)

從結果來看,該課題組著重對比了基於視覺匹配的視覺位置識別(Visual Place Recognition, 簡稱 VPR)算法 SeqSLAM,顯示出更加優越的魯棒性。

大量的機器人研究實驗在純仿真平台或室內環境下測驗,在易控環境下的測試結果,獲得的算法表象並不適用於複雜的戶外自然環境。

「對機器人直接在苗圃中真實的樹木養殖環境中,進行了路徑熟悉度的測試。結果表明,我們的算法可以成為農業和林業等環境下機器人的一個模塊。」朱樂說。

(來源:Science Robotics)

更重要的是,從生物靈感啟發而來,該研究中基於視覺熟悉度的循跡算法可發展成為不需要 GPS 和地圖的導航機制,未來有望在極端環境下,例如地下(例如採礦)和水下(例如深海工作環境)發揮作用。

他補充說道:「這種算法甚至有可能在外太空等 GPS 信號不良的情況,或在 GPS 精度不能達到要求的建築內部環境中使用。」

值得關注的是,基於螞蟻行為學的導航機制只需要學習路徑的熟悉度就可以完成循跡,並實現在多點之間進行往返,不需要構建全局地圖和實時精準定位進行導航。

這對傳感、計算和存儲的要求大大降低。在環境面積很大的情況下,構建地圖極其消耗資源的環境中,有望發揮極大的作用。

博士四年,登上機器人領域的「終極夢想」期刊

一直以來,朱樂感興趣的課題是從生物啟發獲得靈感,來改造和提升機器人。例如,碩士期間他研究六足機器人的運動控制,模仿竹節蟲的爬行。

博一時通過閱讀文獻以及與博士導師討論,確立了研究這個問題的動機:神經學上無法解釋的新連接,直接進行生物實驗極其困難;基於單幀圖片的視覺導航機制,從生物學上來說不夠完備,從性能表現上來說不夠完善;如何在有限算力的情況下實現快速計算性能魯棒的智能機器人。

通過建模和仿真獲取了初步結果,並在仿真環境下驗證假設。由於出色的創新性,朱樂在仿生學的著名會議 Living Machines 上做口頭演講,發表了第一篇論文。

但是,當時的方法論並不完善,一些問題也隨著而來。「其中,最大的問題是脈衝神經網絡在傳統計算機 CPU 和 GPU 的環境下,不僅速度緩慢且功耗高,無法在移動機器人實時輸入輸出閉環控制和低功耗的要求。」朱樂表示。

博二博三開始,他開始研究如何使用類腦計算機來加速模型的計算,最終通過多方調查和研究,確立了使用曼徹斯特大學的 SpiNNaker 系統。

研究期間由於發生疫情,無法進入實驗室開展實驗,導致進度極其緩慢。「無奈之下,我帶了一部分機器人硬體回到中國,在家鄉的苗圃中找到最佳的實驗環境。就這樣,在脫離實驗室環境的前提下開展部分實驗,並克服重重困難獲得大量的實驗數據。」他回憶道。

博三後期是完善實驗以及調參優化實驗結果的過程。由於脈衝神經網絡的學習是一個「老大難」的問題,由於脈衝神經網絡的不可導性,無法使用傳統神經網絡的反向遞推和梯度下降進行調參。

於是,他從生物實際性出發,搜集了大量生物神經元的數據來確定模型的基礎參數,然後通過計算和手動調參的方法優化剩餘參數,最終使模型的性能達到了優秀水平。

該過程雖然對計算資源要求不高,但是實踐過程耗時、耗力。尤其對類腦計算平台的使用,由於並非商業產品而是實驗室的研究樣機,該機器的硬體和軟體對於新手都非常不友好。

朱樂回憶道:「出現 bug 以後需要聯繫合作實驗室一起幫忙 debug,反覆進行遠程調試,這期間也感謝曼大實驗室的相關人員的耐心和熱情,才能夠促成我們實驗的順利進行。」

在博四期間,朱樂帶著初步成果參加了很多國際會議,每次都會收到相關領域學者的積極肯定和反饋。經討論,他和導師決定衝擊機器人領域的「終極夢想」——頂刊 Science Robotics。

圖丨相關論文(來源:Science Robotics)

最終,相關論文以《事件相機在草徑上的神經形態序列學習》(Neuromorphic sequence learning with an event camera on routes through vegetation)為題發表在 Science Robotics[1]。愛丁堡大學朱樂博士為論文第一作者兼通訊作者。

審稿人對該論文評價稱:「在我看來,這篇論文將形成堅實的基礎,也許會為未來更先進的研究覆蓋更廣的範圍,並在控制迴路中使用神經形態硬體。」

參考資料:

1.Zhu,L. et al. Neuromorphic sequence learning with an event camera on routes through vegetation. Science Robotics 8, 82(2023). https://www.science.org/doi/10.1126/scirobotics.adg3679

2.Ardin, P., Peng, F., Mangan, M., Lagogiannis, K., & Webb, B. (2016). Using an insect mushroom body circuit to encode route memory in complex natural environments. PLoS computational biology, 12(2), e1004683.

3.Kagioulis, E., Philippides, A., Graham, P., Knight, J.C., Nowotny, T. (2020). Insect Inspired View Based Navigation Exploiting Temporal Information. In: Vouloutsi, V., Mura, A., Tauber, F., Speck, T., Prescott, T.J., Verschure, P.F.M.J. (eds) Biomimetic and Biohybrid Systems. Living Machines 2020. Lecture Notes in Computer Science(), vol 12413. Springer, Cham. https://doi.org/10.1007/978-3-030-64313-3_20

文章來源: https://twgreatdaily.com/zh-cn/bc3efdcfdac4c38ff04d675038d8ba51.html