大數據文摘出品
來源：techxplore
編譯：張秋玥
藝術，作為時間與空間的沉澱，經常被視為一場帶領現代人類回到過去一窺究竟的旅行，也是允許人們暫時逃避當下的載具。
繪畫寶庫無窮無盡，因此來自不同時間或空間的藝術品之間的聯繫常常會被忽略。即使是最有知識的藝術評論家，也無法閱覽跨越數千年時間的數百萬幅畫作，並在主題、基調和視覺風格上找到意想不到的相似之處。
為了簡化此過程，麻省理工學院計算機科學與人工智慧實驗室（CSAIL）和微軟的一組研究人員創建了一種算法，以發現大都會藝術博物館（the Met）與阿姆斯特丹國立博物館館藏繪畫之間的隱藏聯繫。
受阿姆斯特丹國立博物館特別展覽「倫勃朗和貝拉克斯茲」的啟發，新的「MosAIc」系統通過使用深層網絡了解兩個圖像的近似程度，發現了來自不同文化、藝術家和媒介的成對（也即「類似」的）作品。
在那次展覽中，研究人員受到了一種看似並不可能但卻確實相似的匹配作品的啟發：弗朗西斯科·德·祖巴蘭（Francisco deZurbarán）的《聖塞拉皮翁難》和揚·阿瑟林（Jan Asselijn）的《受威脅的天鵝》，這兩幅作品都描繪了深刻的利他主義場面，並擁有非常令人驚訝的視覺相似性。
一位來自CSAIL的博士生馬克·漢密爾頓（Mark Hamilton）說：「這兩位藝術家一生中沒有通信或彼此見面，但他們二者的畫作都擁有著豐富而相似的潛層結構」 。漢密爾頓是有關「MosAIc」的論文的主要作者。
為了找到兩幅相似的畫作，該團隊使用了一種新的圖像搜索算法來發現特定藝術家或文化的最接近匹配。例如，對於一項「哪種樂器最接近於此藍白色連衣裙繪畫」查詢，該算法檢索了藍白色瓷小提琴的圖像。這些作品不僅在樣式和形式上相似，而且源於荷蘭人和中國人之間更廣泛的瓷器文化交流。
漢密爾頓說：「圖像檢索系統使用戶能夠找到語義上與查詢圖像相似的圖像，充當反向圖像搜尋引擎和許多產品推薦引擎的基礎。」
「將圖像檢索系統限制為特定的圖像子集可以幫助對視覺世界中的關係產生新的見解。我們的目標是鼓勵更高層次的與創造性藝術品的互動。」
用AI探索現有藝術
對於許多人來說，藝術與科學水火不容：科學基於邏輯、推理和經證實的真理，而藝術則基於情感、美學和美感。但是最近，人工智慧和藝術出現了新的變化，在過去的十年中，這種變化變得越來越大。
比如說，從前，絕大多數的新研究集中於使用AI生成新藝術。有一個由麻省理工學院、NVIDIA和加州大學伯克利分校的研究人員開發的GauGAN項目就是一個例子。還有漢密爾頓曾經參與過的GenStudio項目；甚至還有過一件AI生成的藝術品，被在蘇富比以51,000美元的價格售出。
但是，MosAIc的目的不是創造新藝術，而是幫助探索現有藝術。
谷歌的「X分離度」是一種類似的工具，可以找到將兩件藝術品聯繫起來的藝術品路徑，但是MosAIc的不同之處在於，它僅需要一張圖片即可。它沒有找到路徑，而是發現用戶感興趣的任何文化或媒體中的聯繫。
漢密爾頓（Hamilton）指出，建立他們的算法是一項艱巨的嘗試，因為他們希望找到不僅顏色或樣式相似，而且含義和主題相似的圖像。換句話說，他們希望狗與其他狗靠近，人們與其他人靠近，等等。為了實現這一目標，他們在大都會博物館和國家博物館的開放訪問集合中，針對每個圖像探究了深層網絡的內部「激活」。他們如何判斷圖像相似性，就是通常稱為「功能」的這種深層網絡「激活」之間的距離。
為了找到不同文化之間的相似圖像，該團隊使用了一種新的圖像搜索數據結構，稱為「條件KNN樹」，該結構將相似圖像組合成樹狀結構。為了找到匹配的對象，他們從樹的「樹幹」開始，然後跟隨最有希望的「分支」，直到他們確定找到最接近的圖像為止。通過允許樹快速將其自身「修剪」到特定的文化，藝術家或館藏，從而快速產生對新型查詢的答案，數據結構對其前身進行了改進。
漢密爾頓和他的同事感到驚訝的是，這種方法也可以用於幫助發現現有的深層網絡的問題，這些問題與最近湧現的deepfake有關。他們應用此數據結構來查找機率模型（例如經常用於創建深造品的生成對抗網絡）崩潰的區域。他們將這些有問題的區域稱為「盲點」，並指出它們使我們能夠洞悉GAN的偏見。這種盲點進一步表明，即使大多數偽造品可以欺騙人類，GAN仍難以代表數據集的特定區域。
MosAIc到底有多快？
該團隊評估了MosAIc的速度，以及它與人類對視覺類比的直覺之間的接近程度。
對於速度測試，他們希望確保其數據結構在通過快速，強力搜索簡單地搜索整個集合中提供價值。
為了了解系統與人類直覺的協調程度，他們製作並發布了兩個新的數據集，用於評估條件圖像檢索系統。一個數據集對算法提出了挑戰，即使使用神經樣式轉移方法對其進行「樣式化」後，也要查找具有相同內容的圖像。第二個數據集挑戰了算法以恢復不同字體的英文字母。不到三分之二的時間，MosAIc能夠一次從5,000張圖像中猜測出正確的圖像。
漢密爾頓說：「展望未來，我們希望這項工作能激勵其他人思考信息檢索工具如何幫助其他領域，例如藝術，人文科學，社會科學和醫學。」
「這些領域充滿了從未被這些技術處理過的信息，可以為計算機科學家和領域專家帶來巨大的靈感。這項工作可以在新的數據集，新的查詢類型和新方式方面得到擴展了解作品之間的聯繫。」
相關報道：
https://techxplore.com/news/2020-07-algorithm-hidden-met.html
文章來源: https://twgreatdaily.com/qeZcx3MBd8y1i3sJZc4V.html