作者 | 王少楠、張家俊
編輯 | 叢末
語義和語法是自然語言中最重要的特徵。已有神經影像學的研究證明大腦處理語義和語法的神經基礎是不同的，但是目前關於自然語言中語義和語法是否在大腦中分開編碼以及具體編碼的腦區並沒有一致的結論。
由於大腦語言處理過程十分複雜，傳統認知神經科學使用人工設計的語料來收集神經影像數據進而研究這個問題。由於人工設計的語料脫離了人類通常的語言理解環境，結論無法泛化到實際語言場景中，另外受控刺激會引入語言理解之外的因素，因而無法得出人腦在自然語言理解情況下語義和語法表征的結論。
為了解決上述問題，我們提出了一種利用解糾纏的計算模型特徵研究人腦對應表征的框架，可以適用於任何自然語言刺激實驗中。針對大腦語義和語法表征的問題，我們利用計算模型將句子中的語義和語法特徵區分開，使用分離的語義和語法特徵來研究大腦對應的神經基礎。
圖1基於解糾纏特徵的人腦表征研究的計算框架
論文方法
針對上述問題，中科院自動化所自然語言處理組王少楠助理研究員、張家俊研究員、宗成慶研究員和中科院心理所林楠副研究員合作提出了一種利用解糾纏的計算模型特徵研究人腦對應表征的框架，用於研究人腦對應語義和語法的表征。
如圖1所示，該框架分為兩個部分，首先構造解糾纏的特徵表示模型，接著用分離的特徵表示向量在大腦激活數據中尋找對應特徵最相關的腦區。具體來說，我們提出一種解糾纏的特徵表示模型（DFRM）。如圖2所示，該模型屬於雙通道的變分自編碼器，利用兩個隱含變量分別表示語義特徵變量和語法特徵變量。具體使用詞向量平均編碼器來抽取句子中的語義特徵，利用長短時記憶網絡（LSTM）來抽取句子中的語法特徵，接著通過令語義變量學習區分兩個句子是否含義相同，令語法變量學習區分兩個句子是否語法相同的目標函數，使語義變量積累語義信息，語法變量積累語法信息。
該模型通過上述目標函數以及變分自編碼器的重構誤差學習語義和語法變量的分布形式，最終該模型可以用語義變量為每個句子生成語義向量，用語法變量為每個句子生成語法向量。
圖 2 解糾纏特徵表示模型
利用上述語義向量和語法向量，通過神經編碼技術，我們可以研究大腦對應的語義和語法表征。具體來說，通過上述計算模型可以得到每個句子的語義向量和語法向量，利用所有句子中每兩個句子求餘弦相似性可以得到句子之間的語義相似度矩陣和語法相似度矩陣。同樣的，對於大腦來說，每個腦區對每個句子都有一系列激活數值，對每兩個句子間的激活向量求餘弦相似性可以得到每個腦區的句子理解相似度矩陣。最後利用計算模型得到的語義相似性矩陣和語法相似性矩陣分別與每個腦區的相似性矩陣做相關性分析，即可以得到與語義最相關的腦區和與語法最相關的腦區。
實驗結果
表1給出了不同模型在語義和語法任務上的不同表現。實驗結果表明，我們提出的解糾纏特徵表示模型（DFRM）可以最大限度的區分句子中語義和語法信息，在語義和語法相似性數據集上取得了最好的結果。
表1不同模型在多個語言對上的實驗結果
如圖3和圖4所示，將上述語義和語法向量應用於兩個fMRI句子理解數據集上，我們發現語義表征比語法表征在大腦中各個區域的激活更加穩定，包括默認網絡(default-model network)，額頂葉(frontoparietal)，視覺網絡(visual networks)等。語義和語法的大腦表征在很大程度上重疊，也有少數腦區僅對一個腦區敏感。例如，部分額葉(frontal)和顳葉(temporal)區域是語義特徵所特有的。部分右上額葉(right superior frontal)和右下頂葉(rightinferior parietal)區域是語法特有的。
圖3 語義語法向量與大腦fMRI數據的相似性編碼分析結果（數據集1）
圖4 語義語法向量與大腦fMRI數據的相似性編碼分析結果（數據集2）
這項工作的主要貢獻在於：
提出了一種利用計算模型研究大腦中不同語言屬性如何表征的框架。除了研究人腦語義語法的表征之外，也可以用來研究語言中的其他屬性如視覺、語音和情緒等。
提出一種解糾纏的特徵表示模型，可以在一定程度上分離句子中的語義和語法信息，為每個句子生成一個語義向量和一個語法向量。
實驗結果從計算的角度為大腦語義和語法表征機制提供了新的證據，證實並擴展了已有認知神經科學的發現，表明了利用自然語言處理模型可以幫助我們研究腦大腦語言理解機理。
相關細節可參考發表於人工智慧頂級學術會議AAAI 2020的論文：
Shaonan Wang, JiajunZhang, Nan Lin and Chengqing Zong. Probing Brain Activation Patterns byDissociating Semantics and Syntax in Sentences. The Thirdy-Fourth AAAIConference on Artificial Intelligence, Feb. 7-12, 2020, New York, USA.
AAAI 2020 論文集：
AAAI 2020 | 這 10 篇論文值得你了解（附PPT下載）
AAAI 2020 論文解讀系列：
01. 時間可以是二維的嗎？基於二維時間圖的視頻內容片段檢測
02. 全新視角，探究「目標檢測」與「實例分割」的互惠關係
09. 藉助BabelNet構建多語言義原知識庫
10. 溝壑易填：端到端語音翻譯中預訓練和微調的銜接方法
11. 中科院自動化所：通過識別和翻譯交互打造更優的語音翻譯模型
12. 清華大學：用於少次關係學習的神經網絡雪球機制