作者 | Michael Galkin
編譯 | 叢末
責編 | 賈偉
前幾天，AI科技評論發了一篇圖機器學習@ICLR 2020的文章。而在近期舉行的AAAI 2020 上 圖機器學習的研究也仍然是主流方向。在本屆 AAAI上共有1591篇接收論文，其中有140篇是與圖研究相關的。在此之外還有一些專門就圖研究而開展的workshops和tutorials，包括：
Workshop on Deep Learning on Graphs (DLGMA)
Tutorial on GNNs (with slides)
Tutorial on Differentiable Deep Learning on Graphs (with slides)
Statistical Relational AI (StarAI)
此外，還有一些圖與NLP交叉的workshops/ tutorials：
Reasoning for Complex QA (RCQA)
DeepDial
DSTC8
Tutorial on Explainable AI
由此可見，圖研究在當下已經成為主流熱門研究領域。簡直是「死生之地，不可不察」！
本文將介紹AAAI 2020 上的知識圖譜研究。
關注「AI科技評論」微信公眾號，後台回復「知識圖譜@AAAI2020」下載論文合集。
一、不同風格的知識圖譜增強語言模型
將結構化知識融入到語言模型的趨勢發生在EMNLP 2019上，而2020年，可以肯定將是知識圖譜增強語言模型（KG-Augmented LMs）的一年：更大規模的訓練語料將與預訓練模型一起出現。
論文連結：https://arxiv.org/pdf/1908.07690.pdf
Hayashi等人在其工作中為自然語言生成任務（以知識圖譜為條件）定義了一個隱關係語言模型（Latent Relation Language Models，LRLMs）。知識圖譜對關係、實體和關係的表面形式（surface forms）/同義詞等有益，且能夠在生成token時被融入到機率分布中。也就是說，在每一步中，模型要麼從詞彙表中提取一個單詞，要麼使用已知的關係。
Source: Hayashi et al
最終的任務是生成一個與主題實體一致且正確的文本。LRLMs利用底層圖上的知識圖譜嵌入來獲得實體和關係表示，以及用於嵌入表面形式的Fasttext。最後為了參數化流程，還需要一個序列模型。作者嘗試使用LSTM和Transformer-XL來評估LRLM。實驗顯示，即使是大規模的Transformer也會從知識圖譜中受益，性能上升，困惑度下降，生成的文本會比其他方法更具連貫性。It's great work!
論文連結：https://arxiv.org/pdf/1909.07606.pdf
Weijie Liu等人的工作（北大、騰訊和北師大共同完成），提出了一個稱為K-BERT的模型，它假設了每個句子（如果有可能）都會用知識圖譜中的一個命名實體或關聯對來標註。
Source: Liu et al
豐富的句子樹（如上圖所示）隨後線性化到一個新的positional-like的嵌入中，並被一個可見矩陣（visibility matrix）所遮蓋，這個矩陣可以控制在訓練期間輸入的哪一部分可以被看到。事實上，作者明確提到，知識融合只在微調階段發生，而預訓練與標準BERT完全一樣。作者融合了開放領域和醫療領域的知識圖譜，實驗觀察到所有評估任務在一致性上都有1%-2%的提升。
論文連結：https://arxiv.org/pdf/1907.12412.pdf
ERNIE 2.0 框架，Source Sun et al.
百度在相似性融合方面做了不少工作，他們在本屆AAAI上介紹了 ERNIE 2.0。這是一個整合外部知識的擴展方法，與ERNIE 1.0相比，它可以捕獲更多的詞彙、語法和語義信息。
論文連結：https://pasinit.github.io/papers/scarlini_etal_aaai2020.pdf
開源地址：http://sensembert.org/
Scarlini等人將BERT與語義網絡BabelNet和NASARI一起應用在他們的SensEmBERT模型中，這個模型能夠在多種語言中進行詞義歧義消除和詞義表示。
作者還指出，SensE沒BERT在WSD任務中能夠更好地支持不常見詞，並優於定製的監督方法。目前這個模型是開源的。
論文連結：https://arxiv.org/pdf/1911.12753.pdf
Bouraoui等人進一步對BERT的關係知識進行了評估，即在給定一對實體（例如法國-巴黎）的情況下，它能否預測正確的關係。作者發現，BERT在事實和常識任務中表現良好，在詞彙任務中表現也不錯，在形態任務中就更出色了。這實際上也是用知識圖譜來增強語言模型的一個重要動機。
二、異質知識圖譜中的實體匹配
不同的知識圖譜都有他們自己的實體建模的模式，換句話說，不同的屬性集合可能只有部分重疊，甚至URLs完全不重疊。例如在Wikidata中Berlin的URL是https://www.wikidata.org/entity/Q64，而DBpedia中Berlin的URL是http://dbpedia.org/resource/Berlin。
如果你有一個由這些異質URL組成的知識圖譜，儘管它們兩個都是在描述同一個真實的Berlin，但知識圖譜中卻會將它們視為各自獨自的實體；當然你也可以編寫/查找自定義映射，以顯式的方式將這些URL進行匹配成對，例如開放域知識圖譜中經常使用的owl:sameAs謂詞。維護大規模知識圖譜的映射問題是一個相當繁瑣的任務。以前，基於本體的對齊工具主要依賴於這種映射來定義實體之間的相似性。但現在，我們有GNNs來自動學習這樣的映射，因此只需要一個小的訓練集即可。
論文地址：https://arxiv.org/pdf/1911.08936.pdf
Sun等人提出了AliNet模型，這是一個端到端的基於GNN的框架，能夠為實體對齊聚合遠程多跳鄰域。由於模式異質，這個任務變得更加複雜，因為不同知識圖譜中相似實體的鄰域不是同質的。
Source: Sun et al
為了彌補這一缺陷，作者建議關注節點的n-hop環境以及具有特定損失函數的TransE-style關係建模。最後，門函數會控制一個節點從1-hop、2-hop、3-hop鄰域中獲得更多信息。AliNet在DBpedia多語言版、DBpedia -Wikidata、 DBpedia -YAGO等數據集上都進行了評估。眾所周知，DBpedia、Wikipedia、YAGO有著完全不同的模式。但他們的結果達到了令人吃驚的90+% Hits@10的預測精度，完全不需要手工哦！
論文連結：https://arxiv.org/pdf/2001.08728v1.pdf
Kun Xu等人研究了多語言知識圖譜（本例中為DBpedia）中的對齊問題，在這個問題上基於GNN的方法會陷入「多對一」的情況，當給定一個目標實體時會生成多個候選的源實體。
Source: Xu et al
作者研究了如何使GNN編碼輸出的預測更加具有確定性（因此也即增加Hits@1的評分），他們提出了兩種策略：
1、Easy-to-Hard解碼，從本質上講，即一個two-pass過程，第一步會調用一個對齊模型；第二步，把機率值高於閾值 的K個候選者添加到基線中，然後再次執行對齊模型。
2、使用匈牙利算法來尋找候選對的最佳分配。由於匈牙利算法具有 O(N⁴) 的時間複雜度，作者先利用機率超過閾值 的方法大幅降低了候選子空間，這能夠使算法在合理的運行時間裡進行。
他們的實驗結果表明，底層依賴GNN的模型和任務，可以在Hits@1時能夠獲得3%-5%的性能提升。
三、知識圖譜補全和連結預測
在本屆 AAAI 2020 上，有兩個發展趨勢非常突出：神經–符號計算（neuro-symbolic computation）重回大家的視野並且大熱；時間知識圖譜（temporal KG）的吸引力也越來越大。
論文連結：https://arxiv.org/pdf/1912.10824.pdf
針對神經–符號範式，Pasquale Minervini 等人在論文中，將神經定理證明（NTPs）擴展為了貪心的神經定理證明（GNTPs）。NTPs 是一個端到端的可微系統，學習規則並在給定知識圖譜剩餘部分的情況下嘗試證明事實。
雖然NTPs 能夠實現可解釋性，但其複雜性會隨著知識圖譜的大小急速增長，並且研究者們還無法在較大的數據集（但也談不上像維基數據那樣的整個知識圖譜）上對NTPs進行評估。
Source: Minervini et al
為了解決這一問題，論文作者推導出了一個貪心的鄰近算法（kNN）策略來選擇能夠最大化證明分數的事實，從而GNTPs 更具可擴展性得多。同時，除了 (s,p,o) 三元組外，作者還可以用自然語言來表示規則，例如「倫敦坐落於英國」。
在連結預測任務的實驗過程中，作者發現，即便只用一個簡單的嵌入模型對上述提到的文本編碼，也能夠得到明顯更好的結果。
論文連結：https://arxiv.org/pdf/1907.03143.pdf
知識圖譜通常包括僅在一定時間內有效、隨後更新為新的值的事實，例如，關於Albert Einstein 配偶的事實，一開始為（Albert Einstein，配偶：Mileva Marić，從1903年到1919年），之後更新為（Albert Einstein，配偶：Elsa Einstein，從1919年到1936年）。
也就是說，根據年份和時間的不同，知識圖譜對應的連結有時是正確的，有時是錯誤的，而這種時間維度在企業知識圖譜中，也特別重要。
與僅考慮靜態圖的傳統知識圖譜的嵌入方法不同，結合時間知識圖譜的嵌入方法要求模型在給定一定的時間窗口下，對連結進行加權。
加拿大皇家銀行旗下人工智慧研究所 Borealis AI 的研究者 Rishab Goel等人提出了SimplE模型的擴展版本——DE-SimplE，可通過歷時實體嵌入來支持知識圖譜的時間維度，其中實體維度 D 外的 d 維度可以捕獲時間特徵，而(1-)d 維度則能夠捕獲靜態的知識圖譜特徵。
當然隨著時間的推移，我們會看到動態知識圖譜的模型也會日益發生變化。
論文連結：https://arxiv.org/pdf/2001.00461.pdf
來自西門子中國研究院和慕尼黑大學的研究者 Marcel Hildebrandt等人從新的視角研究事實分類，讓人眼前一亮。在論文中，他們提出採用R2D2算法中的辯論動態（Debate Dynamics ）方法，其中兩個Agent 通過證明或反駁給定的三元組進行「辯論」，同時最終由一個 Judge （作為一個二元分類器）決定三元組是真還是假。
Source: Hildebrandt et al
該系統經過強化學習訓練，除了三元組分類外，還能夠通過調整來完成連結預測任務。
作者也開展了一項調查，以找到人類評估者評估檢察官和辯護人提出的論據的方法。而作為規則挖掘系統中的一個普遍問題，R2D2 的擴展性也將會是一個有趣的研究主題。
論文連結：https://arxiv.org/pdf/1910.02915.pdf
常識知識圖譜如ConceptNet、ATOMIC現在也已經在許多自然語言處理任務中得到應用，但是至今還未對其鏈路預測和補全特點進行深入研究。
艾倫人工智慧研究所的研究者Chaitanya Malaviya 等人在論文《Commonsense Knowledge Base Completion with Structural and Semantic Context》中展示了，例如 DistMult 或 ConvE 等傳統的知識圖譜嵌入算法，由於知識圖譜的稀疏性（ 例如數據集FB15K-237的密度大概是1.2e-3，平均入度為 17；而 ATOMIC的密度為 9e-6 ，平均入度為2.25），得到的結果並不好。
作者認為，研究者還需要考慮到結構和語義的上下文，從而在其提出的模型中，使用R-GCN來聚合鄰域信息以及使用BERT 來編碼短語和文本。
除此之外，作者還對R-GCN的誘導邊界（機率分數超過了一定的閾值）和子圖採樣進行了綜合實驗。
這篇論文讀起來非常有衝擊力，架構清晰、概念解釋到位、具有完整的實驗和分析，這項研究工作可以說是非常好了！
此外，一些短論文提出的算法，或許也會對大家有所幫助，例如：
論文連結：https://arxiv.org/pdf/1911.00219.pdf
這篇論文提出了ConvE的優化版本——InteractE，其結合應用了各種重塑策略和循環卷積，在基準測試中的表現始終優於 ConvE。
論文連結：https://arxiv.org/pdf/1911.09419.pdf
Zhang等人在其提出的模型 HAKE 中對 RotatE 算法進行了擴展，以更好地對知識圖譜的層次關係建模，從而能夠在更廣泛項的嵌入內，找到更窄的項嵌入。
四、基於知識圖譜的對話 AI 和問答
今年AAAI 2020 會議還舉辦了主題為「Dialogue State Tracking」的研討會 （DSTC8），該議程匯聚了來自Google Assistant、 Amazon Alexa和 DeepPavlov 研究團隊的對話 AI 領域的專家。
在 DSTC研討會中，社區的研究者致力於獲得更大、更豐富的數據集，同時也致力於解決更複雜得多的任務。
論文連結：https://arxiv.org/pdf/1909.05855.pdf
谷歌軟體工程師Abhinav Rastogi等在論文中，提出了Schema-Guided Dialogue （SGD）數據集。迄今為止，SGD數據集是最大的多領域數據集，擁有 16個不同領域超過 1.6萬個對話。SGD數據集中的數據沒有統一的格式，16個領域的數據從 Freebase獲取，各自都有自己的格式表述。
事實上，這個數據集如此之大，以至於沒有人能夠窮盡其中可能存在的槽值，或者保證其測試集能夠覆蓋所有可能的服務/槽/值組合數據。
這種情況下，大家可能希望能夠有一些零樣本狀態可以追蹤到這些組件。
下圖展示了 25 個挑戰賽團隊實現的結果，他們將基線的最低分數從20–60%提高到了86–99%，可喜可賀：
Source：https://arxiv.org/pdf/2002.01359.pdf
下面介紹一些令人激動的知識圖譜應用。
論文連結：https://arxiv.org/pdf/1912.07491.pdf
西南科技大學、中國科學院、騰訊 AI Lab等機構聯合發表的論文中，提出了一種被稱作TransDG的模型，可用於閒聊對話機器人的回應生成，其中主要的方法是，從在SimpleQuestions、Freebase和 ConceptNet數據集上經過訓練的 KGQA 系統遷移事實知識。
論文連結：https://arxiv.org/pdf/1912.01496.pdf
科羅拉多大學、國立中央研究院、賓夕法尼亞州立大學等機構聯合發表的論文定義了一個「看圖講故事」的框架——KG-Story，該框架能夠基於連續的圖片，生成一個連貫的文本描述。此外，該框架採用知識圖譜進行自我豐富，有助於圖像場景的理解和文本生成。
在知識圖譜問答領域，南京大學孫亞偉等人在《 SPARQA: Skeleton-based Semantic Parsing for Complex Questions over Knowledge Bases》論文中，針對知識圖譜的複雜問答任務，提出了一種基於 Skeleton的語義短語表示和解析方法—— SPARQA。
作者通過 Skeleton 理解一系列最小化的語義單元（如VP、NP、PP等等）和一些依附關係，其中依附關係創建了查詢樹的原型（隨後會被實例化並發送到一個知識圖譜查詢引擎中）。此外，他們還在 Freebase知識庫中的GraphQuestions 和 ComplexWebQuestions 上對該方法進行了評估。
論文連結：https://arxiv.org/pdf/1909.05311.pdf
在常識問答領域，中國科學院Shangwen Lv等人在論文中，使用常識知識庫ConceptNet和維基的 IR 庫挖掘了一些證據知識，並通過 GCN將這些知識傳遞。另一方面，基於 XLNet 的推理模塊解碼問題、選擇以及找到的證據，已獲得聯合表示。該方法獲得的 F1 分數為 75.3%，目前排名第 2 ！
Source：Lv et al.
五、結語
本文主要介紹了下知識圖譜在自然語言相關任務中的應用。當然，知識圖譜在其他領域也有應用，例如在計算機視覺中，知識圖譜能夠幫助構架場景圖；在生物信息學中，知識圖譜有助於該領域的分子研究。
日益壯大的圖機器學習社區，現在已經在日益對該領域展開深入研究，大家感興趣地話可以搜集相關的資料進行了解，例如 GitHub 上就有一個圖機器學習的文獻庫（https://github.com/naganandy/graph-based-deep-learning-literature），匯總了來自頂尖會議和來自Telegram的圖機器學習頻道的相關論文。
針對圖機器學習，Sergei Ivanov也寫過一篇關於圖機器學習2020 年發展趨勢的文章，非常不錯。
AAAI 2020 之後，ICLR 2020 也將在今年 4 月份如期而至，相信會出現更多令人耳目一新的關於知識圖譜的論文，大家拭目以待！