圖 | 本文作者：清華大學智能產業研究院助理教授趙昊（來源：趙昊）
在 10 月 8 日揭曉的 2024 年諾貝爾物理學獎中，大家震驚地得知神經網絡先驅約翰·J·霍普菲爾德（John J. Hopfield）教授和傑弗里·辛頓（Geoffrey Hinton）教授是今年的得主。
（來源：資料圖）
這並非諾貝爾獎評委會第一次跨界，2016 年的諾貝爾文學獎就頒給了民謠音樂人鮑勃迪倫。雖然把文學獎頒給歌詞創作者也合情合理，把物理學獎頒給兩位計算機科學家著實讓人意外。
那麼，為什麼他們兩人的科學貢獻足以評上諾貝爾物理學獎呢？
本篇解讀由我為大家帶來，我和我的實驗室成員們剛剛從義大利米蘭參加完兩年一度的歐洲計算機視覺大會（ECCV 2024，European Conference on Computer Vision），所以這是一篇在登上回國航班之前完成的解讀文章。
圖 | 圖為趙昊實驗室參加 ECCV 的照片（來源：趙昊）
當我們談論諾貝爾物理學獎時，許多人首先想到的是粒子物理、宇宙學或凝聚態物理等傳統領域。然而，物理學的疆域遠不止於此。
隨著科學的不斷發展，物理學正日益與其他學科交叉融合，孕育出許多新興領域。其中，約翰·J·霍普菲爾德（John J. Hopfield）和傑弗里·辛頓（Geoffrey Hinton）的工作，正是物理學與神經科學、人工智慧深度交匯的典範。
約翰·J·霍普菲爾德：從物理學視角建模大腦
其實，約翰·J·霍普菲爾德最初是一位凝聚態物理學家，他在固體物理和半導體領域取得了重要成果。
然而，到了 20 世紀 70 年代末，他的研究興趣開始轉向生物物理學，試圖從物理學的角度理解生物系統的複雜性。
1982 年，霍普菲爾德發表了一篇具有里程碑意義的論文，提出了霍普菲爾德網絡。這是一個由大量簡單神經元組成的遞歸神經網絡，其主要目的是用於模擬人腦的記憶和聯想過程。
他的核心創新在於：
能量函數的引入：霍普菲爾德將網絡的狀態映射為一個能量函數，網絡的動態演化過程對應於能量的逐步降低。
穩定態與記憶存儲：網絡的穩定態（即能量最低的狀態）對應於存儲的記憶模式。當輸入一個不完整或有噪聲的模式（或者說信號）時，網絡可以通過能量最小化過程自動完成或糾正，恢復出原始的記憶。這種方法巧妙地利用了物理學中的自旋玻璃模型，將神經網絡的分析與統計力學緊密結合。
圖 | 自旋玻璃系統示意（來源：資料圖）
在物理學中，自旋玻璃是一種具有隨機相互作用的磁性系統，其能量地形複雜多樣，存在多個局部極小值。
在現代深度學習中，大量的局部極小值依舊是廣受關注的科學問題。霍普菲爾德認識到，這種複雜性與神經網絡的狀態空間非常相似。
通過引入能量函數，網絡的狀態演化可以視為系統在能量地形中尋找最低點的過程。這與物理系統在低溫下趨於熱力學平衡的過程類似。
傑弗里·辛頓：統計力學與深度學習的十字路口
傑弗里·辛頓最初的學術背景是實驗心理學，但他對大腦如何處理信息、如何學習和記憶有著濃厚的興趣。這促使他轉向計算機科學和人工智慧領域，探索人類智能的計算模型。
1985 年，辛頓提出了玻爾茲曼機，這個方法受到霍普菲爾德網絡的啟發，但是又有著三個特點：
隨機神經網絡：玻爾茲曼機是一種具有隨機性的遞歸神經網絡，神經元的激活狀態以機率方式確定。
統計力學的應用：該模型直接借鑑了統計力學中的玻爾茲曼分布，網絡的能量函數和狀態機率遵循物理系統的熱力學規律。
學習規則：通過模擬退火等技術，網絡可以學習輸入數據的統計特性，找到最優的權重配置。
圖 | 辛頓和他的兩個學生開啟了深度學習革命（來源：資料圖）
隨後，如眾所周知的故事中描述的那樣，辛頓的理論受到了多年的冷遇，在 2006 年，辛頓提出了深度信念網絡（DBN，Deep Belief Network），這是深度學習的關鍵突破。
具體而言，這個新的設計有以下關鍵要素：
受限玻爾茲曼機（RBM，restricted Boltzmann machine）：辛頓對玻爾茲曼機進行了簡化，提出了更易於訓練的受限玻爾茲曼機。
逐層貪婪訓練：他提出了逐層預訓練的方法，先訓練每一層的 RBM，然後堆疊起來形成深度網絡。
對比散度算法：為了解決訓練效率問題，在 RBM 的訓練過程中，發明了對比散度（Contrastive Divergence）算法，大大加速了模型的訓練過程。這些突破使得訓練深度神經網絡成為可能，引發了人工智慧領域的深度學習革命。
物理學與人工智慧的共同核心
首先，無論是霍普菲爾德網絡還是玻爾茲曼機，都以能量函數為核心，將系統的狀態和動態行為進行統一描述。
這種方法：
一方面連接了物理系統和信息處理系統：能量最小化過程對應於信息處理中的優化和決策；
另一方面提供了分析複雜系統的新方法：通過能量地形，可以直觀地理解系統的多穩定態、相變等現象。
其次，兩位科學家都利用了統計力學中的概念和方法：
機率分布和隨機過程：在神經網絡中，引入隨機性和機率描述，使得模型更具魯棒性和泛化能力。
熱力學平衡和退火過程：模擬物理系統的退火過程，幫助網絡跳出局部最優，找到全局最優解。這種方法論的應用，深化了對複雜系統的統計性質的理解。
再次，神經網絡的動態行為涉及非線性方程，可能存在多個穩定態和相變現象：
相變分析：通過研究參數的變化，觀察系統從一種行為模式轉變為另一種，這與物理學中的相變理論相似。
臨界現象：在特定條件下，系統可能表現出臨界行為，具有高度的敏感性和複雜性。
這些現象的研究，有助於理解物理系統中的類似問題。
對物理學的深遠影響
相信讀者讀完前三個部分，已經基本理解了物理學是如何影響兩位科學家的工作的。其實，他們的工作也對物理學產生了影響。
首先，霍普菲爾德和辛頓的工作，將物理學的概念應用於非傳統領域，拓展了物理學的研究範圍：一個是生物物理學，即從物理學角度研究生物系統的功能和機制；另一個是信息物理學，即探討信息處理過程中的物理原理和限制。
其次，他們的發展為物理學研究提供了新的工具，包括提供了計算模型工具：基於神經網絡的計算模型，可用於模擬和分析複雜物理系統；
以及提供了算法和數值方法的工具：如對比散度算法、模擬退火等，在物理學計算中具有廣泛應用。
最後，他們的工作促進了物理學與其他學科的交叉融合，推動了神經科學的發展，為理解大腦的工作機制提供了新的理論框架。
並且影響了計算機科學和人工智慧，引發了深度學習革命，改變了人工智慧的發展方向。這種跨學科的合作，豐富了科學研究的視野，推動了整體科學的進步。
物理學和計算機視覺的交融正發生
我在剛剛結束的歐洲計算機視覺大會上發表的兩篇論文也是物理學和計算機視覺交融的產物。
我和團隊本次發表的第一篇論文「Training-Free Model Merging for Multi-target Domain Adaptation」，研究的是如何講多個神經網絡的參數直接取平均，從而得到一個更加強大的神經網絡。
這件事情並不容易正如前文所述，神經網絡的能量地形跟自旋玻璃模型一樣複雜多樣，如果多個神經網絡不在同一個局部極小點內的話，對它們取平均將會導致災難性的結果。
在這篇論文中，我們發現，如果使用正確的初始化策略以及對神經網絡的歸一化層也做好統計融合，就能有效達到模型融合的目的。本項技術可以用於將在不同城市訓練的自動駕駛感知模型進行融合，得到一個泛用的基礎模型。
圖 | 此方法可以將不同自動駕駛感知模型有效融合（來源：趙昊）
我們本次發表的第二篇論文「SCP-Diff: Spatial-Categorical Joint Prior for Diffusion Based Semantic Image Synthesis」，研究的是如何從自動駕駛語義圖中生成具有欺騙人眼真實感的自然圖像。
這篇論文利用的是一種叫做擴散模型（Diffusion Model）的技術，在訓練過程中本技術首先對自然圖像信號注入噪音，通過這個類似布朗運動的過程，自然信號被轉化為隨機信號。
有意思的是，我們可以利用神經網絡取預測噪音，從而從隨機信號中恢復自然圖像。
這篇論文通過統計空間和類別噪音先驗，讓生成的圖像質量比此前最好的基準提高了 80%，您能在下圖中分辨出真實圖像和生成圖像麼？
圖 | 您能猜出來右邊兩張圖片哪張是自然圖片，哪張是生成的圖片麼？（來源：趙昊）
總的來說，物理學的思想已經影響到了當代計算機科學的方方面面，包括計算機視覺。同時，本次物理諾獎得主的貢獻不僅推動了人工智慧的革命性進步，也為物理學應用拓展了新的維度。
運營/排版：何晨龍