或許AI也需要睡個好覺?神經網絡定期休息後,能更好地工作

2020-06-17     大數據文摘

原標題:或許AI也需要睡個好覺?神經網絡定期休息後,能更好地工作

大數據文摘出品

來源:Los Alamos National Laboratory

編譯:千雪、Andy

AI真的越來越像人了,它可能並不像我們想像中那樣一刻不停的工作也能保持高效,一項最新研究顯示,在模擬神經網絡中,存在著和人類睡眠類似的「休息」狀態,用於消除人工大腦因為不間斷自學習導致的不穩定性。

也就是說,給AI一個有規律的睡眠,它可以更高效的工作。

未來的智能機器可能和我們一樣需要睡眠

2020年6月8日,新墨西哥州洛斯阿拉莫斯市,洛斯阿拉莫斯國家實驗室(Los Alamos National Laboratory)發布了一項最新研究:沒人能確定仿生人到底夢不夢得見電子羊,但仿生人們可能確實需要休息時間,而且這給他們帶來的好處和睡眠給人類大腦帶來的好處類似

「我們主要研究脈衝神經網絡,這是種能像人類大腦一樣進行學習的系統。」 洛斯阿拉莫斯國家實驗室計算機科學家Yijing Watkins說:「而且我們尤其對神經形態處理器的一種訓練方法看好,該方法通過模仿人類以及其他生物在童年期從環境中學習的方式來進行訓練。

Watkins和她的研究小組發現,經過連續的無監督學習後,神經網絡仿真開始變得不穩定。而讓人驚奇的是,當他們將網絡置於一種類似人類大腦在睡眠狀態的電波下時,網絡的穩定性就恢復了!Watkins說:「這簡直就像是給神經網絡睡了一個大覺。」

該結果是研究小組在開發一個神經網絡時發現的,這個網絡的功能非常接近人類和其他生物用於視覺的神經網絡。該小組一開始嘗試了很多讓仿真神經網絡在無監督字典訓練(Unsupervised Dictionary Training一種不用進行先例對比就進行分類的方法)中變穩定的方法,但效果都不太好。

「一般很少會碰到這種讓學習系統更穩定的問題,只有在嘗試用仿生的脈衝神經網絡,或者想搞楚生物本身意義時才會碰到這種問題。」 洛斯阿拉莫斯計算機科學家兼合作者 Garrett Kenyon說:「絕大多數機器學習、深度學習還有人工智慧領域的研究人員都從未遇到過這個問題,因為在他們研究的人工系統中,可以直接進行全局數學運算來調節系統的整體動態增益。」

研究人員提到,真是嘗試了各種方法來穩定網絡,最後死馬當做活馬醫才給網絡置於人工模擬的睡眠環境中來試試。他們用各種類型的噪音進行了實驗,這些噪音類似於在對收音機進行調頻時電台之間出現的噪音。最好的實驗結果是高斯白噪聲(Gaussian noise),這是種頻率和振幅範圍較廣的噪聲。他們假設這種噪音模仿了生物神經元在慢波睡眠時接受到的輸入。有實驗結果表明慢波睡眠在一定程度上能確保大腦皮層神經元穩定,不會產生幻覺。

該小組之後的目標是在英特爾的Loihi神經形態晶片上實現他們的算法。他們希望,通過讓Loihi時不時地「入睡」,從而使得它能更穩定地實時處理來自矽視網膜相機的信息。如果這一發現證實了睡眠對人工智慧大腦的必要性的話,那麼我們對未來可能出現的其他智能機器也就可以抱有同樣的期望了,那就是,終結者也需要睏覺。

Watkins將於6月14日在西雅圖舉行的女性計算機視覺研討會上介紹這項研究。

關於洛斯阿拉莫斯國家實驗室

洛斯阿拉莫斯國家實驗室是一個多學科研究機構,代表國家安全從事戰略科學研究,由Triad管理,Triad是一個面向公共服務的國家安全科學組織,由三個創始成員共同擁有:巴特爾紀念館學會(Battelle)、德州農工大學系統(TAMUS),加州大學(UC)能源部國家核安全管理局。

洛斯阿拉莫斯通過確保美國核儲備的安全性和可靠性,開發減少大規模毀滅性武器威脅的技術,以及解決與能源、環境、基礎設施、健康和全球安全問題有關的問題,從而加強國家安全。

相關報道:

https://www.lanl.gov/discover/news-release-archive/2020/June/0608-artificial-brains.php

文章來源: https://twgreatdaily.com/zh-cn/8FqSwXIBiuFnsJQVwDmM.html