「AI初識境」從3次人工智慧潮起潮落說起

2019-05-24     有三AI

專欄《AI白身境》已經完結,今天開始這個系列的第二個專欄《AI初識境》。所謂初識,就是對相關技術有基本了解,掌握了基本的使用方法。

第一篇,我們就來說說人工智慧的簡單歷史,通常來說業界公認包括三個重要的歷史階段。

作者&編輯 | 言有三


1 什麼是智能

智能,即Intelligence,那什麼是智能呢?按照中國古代思想家荀子在《荀子·正名篇》的說法:「所以知之在人者謂之知,知有所合謂之智。所以能之在人者謂之能,能有所合謂之能」。

其中的「智」指進行認識活動的某些心理特點,「能」則指進行實際活動的某些心理特點。我的理解就是,能是智的具體表達形式,當然也有學者將智和能作為一個整體的,《論衡·實知篇》中就認為人才就是具有一定智能水平的人

更加科學的定義是在霍華德·加德納的多元智能理論中,它將人類的智能分成七種能力:

  • (1) 語言 (Verbal/Linguistic)
  • (2) 邏輯 (Logical/Mathematical)
  • (3) 空間 (Visual/Spatial)
  • (4) 肢體運作 (Bodily/Kinesthetic)
  • (5) 音樂 (Musical/Rhythmic)
  • (6) 人際 (Inter-personal/Social)
  • (7) 內省 (Intra-personal/Introspective)

這基本覆蓋了現在人工智慧的研究領域,包括計算機視覺,語音識別,自然語言處理等。

從生物學上來說智能體是有兩種的,有生命的和沒有生命的,人顯然就是有生命的,而人工智慧,自然研究的是沒有生命體的,但是能夠表現出生命體的智能的,因此才叫「人工」智能,或者理解為人造智能吧。

2 圖靈與機器智能

科技發展到一個節點後,就有人思考如何用真正的生命體外的東西來模擬人類的智能,從模擬大腦的運作方式開始顯然是最合適的。

在1943年的時候麥卡洛克-皮茨(MuCulloch和Pitts)就提出了MP模型,即最早的基於閾值邏輯的神經網絡模型,用於模擬人腦神經元,它已經是感知器的原型了,開創了人工神經網絡研究的時代。

當然,人工智慧是一個比神經網絡更廣的範疇,它的理論先驅代表性人物是天才科學家圖靈

艾倫·圖靈在1950年的論文《Computing Machinery and Intelligence》中提出了圖靈測試,在圖靈測試中,人類測試者與一台機器被隔開,一個人類測試員通過文字向被測試者隨意提問。進行多次測試後,如果測試者不能確定出被測試者是人還是機器,那麼這台機器就通過了測試,並被認為具有人類智能,它在數十年間被當作機器智能的測試標準,深刻影響了人工智慧的發展。

當然圖靈測試不需要限於對話,其他的一些人類活動也可以。目前在很多的領域裡機器已經通過圖靈測試,比如下棋。

很多學者認為,圖靈在1948年的時候在英國國家物理實驗室內部做過的一個題為「智能機器」的報告是更早的機器智能的源頭,在這個報告中提出了「embodied intelligence」和 「disembobied intelligence」,即肉體智能和無肉體智能。肉體智能指的是需要身體來完成活動的,比如人形機器人,而無肉體智能則可以脫離形體,比如下棋,進行語言對話等。但是由於報告是保密的,因此我們還是認為1950年的圖靈測試是真正意義上提出機器智能概念。

為了紀念圖靈的貢獻,美國計算機協會在1966年設立了圖靈獎,這成為了計算機科學領域的「諾貝爾獎」,圖靈也被稱為計算機科學之父、人工智慧之父。

3 馮諾伊曼與類腦計算

圖靈提出了機器智能的概念,那怎麼實現呢?現在大家都知道了,使用計算機,或者更通用的說法是電腦。

馮·諾依曼(John von Neumann)正是計算機之父。在智能這個研究課題上,圖靈走理論路線,而馮·諾伊曼更偏重工程路線,它們在普林斯頓大學期間有接觸,比圖靈大10歲的馮諾伊曼對前者還有一定的知遇之恩。

馮諾伊曼的貢獻很多,這裡我們只說其在計算機方面的貢獻,它對世界上第一台電子計算機ENIAC(電子數字積分計算機)的設計提出過建議,這體現在1945年他牽頭起草的EDVAC(Electronic Discrete Variable Automatic Computer)中,翻譯過來是「存儲程序通用電子計算機方案」。這對計算機的設計有決定性的影響,特別是計算機的結構,包括存儲程序以及二進位編碼等。這個報告中最核心的概念是「存儲程序(Stored Program)」,老馮將其原創給予了圖靈,認為存儲程序其實就是通用圖靈機,可見老馮不止是研究做得好,人品更是棒。

所謂存儲程序:就是把運算程序存在機器的存儲器中,程序設計員只需要在存儲器中尋找運算指令,機器就會自行完成計算,這樣,就不必對每個問題都重新編程,從而加快了程序設計的流程。

當然在EDVAC中還包括了隨機尋址以及寄存器等原創思想。鑒於馮·諾依曼在發明電子計算機中所起的關鍵性作用,他被譽為「計算機之父」。馮諾伊曼的研究被整理在《計算機和人腦》中,感興趣的讀者可以去讀中譯本。

4 達特茅斯會議

圖靈和馮·諾伊曼為機器智能奠基,而人工智慧正式成為一個學科被廣泛研究,應該起源於1956年的達特茅斯會議,會議的參與者包括了達特茅斯學院的約翰·麥卡錫(John McCarthy)、哈佛大學的馬文·閔斯基(Marvin Minsky,人工智慧與認知學專家)、貝爾電話實驗室的克勞德·香農(Claude Shannon,資訊理論的創始人)、艾倫·紐厄爾(Allen Newell,計算機科學家)、赫伯特·西蒙(Herbert Simon,諾貝爾經濟學獎得主),塞弗里奇(Oliver Selfridge)等科學家,在兩個多月的會議中它們討論了用機器來模仿人類學習以及其他方面的智能這個課題。

雖然會議最後沒有什麼實質性的結論,但是會議正式提出了一個新學科, 即「Artificial Intelligence」,翻譯過來就是人工智慧。可以說一個學科的正式誕生,才是為公眾所知的開始。

我們再來說一下參會的這些人和人工智慧的關係。

1. 約翰·麥卡錫(John McCarthy),開發了程序語言Lisp(List Processing language),成為第一個最流行的AI研究程序語言,他還提出了計算機分時(time-sharing)的概念。正是約翰·麥卡錫提出了「Artificial Intelligence」這個概念(雖然他自己老年說是聽來的但是最後也無法證實來源),因此也被稱為「人工智慧之父」(我覺得人工智慧之母更加合適,畢竟圖靈才是思想之源,而麥卡錫同志是一個養育者),他在1971年獲得了圖靈獎。

2. 馬文·閔斯基,他在1951年24歲的時候和迪恩·埃德蒙(Dean Edmunds)在普林斯頓大學建立了第一個神經網絡機器SNARC(Stochastic Neural Analog ReinforcementCalculator),這是第一個人工神經網絡,用3000個真空管模擬出40個神經元的神經信號傳遞,由於他的一系列奠基貢獻,在1969年獲得了圖靈獎。

3. 克勞德·香農(Claude Shannon),在1950年發表了《Programming a Computer for Playing Chess》,這篇論文第一次開始關注計算機象棋程序的開發。作為信息科學領域的鼻祖,與圖靈並駕齊驅的香農自然是不需要圖靈獎了,畢竟還有通訊領域的最高獎香農獎。

4. 赫伯特·西蒙(Herbert Simon)和艾倫·紐厄爾(Allen Newell),他們在1956年開發了"LogicTheorist",是世界上第一個AI項目,證明了在羅素和懷特海的數學教科書《數學原理》第二章的52個定理中的38個,並找到了比教材中更加優美的證明,這開創了名為「搜索推理」的方法,這是人工智慧的符號派的代表性成果。他們在1975年一起獲得了圖靈獎。

之後研究AI的一些科學家也獲得了圖靈獎,1994年Edward Feigenbaum)和Raj Reddy、2010年Leslie Valiant、2011年Judea Pearl。正是有了這些科學家的頭腦風暴,才有了今天的這門學科,改變了人類的生活方式,向他們致敬。

5 第一次浪潮(1956-1974)

在人工智慧學科誕生後,赫伯特·西蒙(Herbert Simon)樂觀地預測20年內誕生完全智能的機器,當然這沒有發生,但是帶來了第一個人工智慧的研究熱潮。

1963年,美國國防部高級研究計劃局(DARPA)給麻省理工學院、卡內基梅隆大學的人工智慧研究組投入了200萬美元的研究經費,開啟了Project MAC(Mathematics and Computation),這個項目是麻省理工學院計算機科學與人工智慧實驗室的前身,培養了最早期的計算機科學與人工智慧人才,也有了一些成果。

在1964~1966年間約瑟夫·維森班(loseph Weizenbaum )開發了ELIZA,這是第一個自然語言對話程序,通過簡單的模式匹配和對話規則進行任何主題的英文對話。不過他開發程序只是為了證明機器與人的交流很膚淺,後來成為了批判人工智慧研究大軍的一員。

早稻田大學在1967年到1972年間則發明了第一個人形機器人Wabot-1,不僅可以進行簡單的對話,還能夠完成在室內走動和抓取物體的動作,這就涉及到了計算機視覺的研究。並且在1980年更新到了二代版本Wabot-2,增加了閱讀樂譜和演奏普通難度的電子琴的功能。研發該機器人的加藤一郎也被賦予「人形機器人之父」

從70年代開始,由於計算能力有限,而科學家一開始的預測又過於樂觀,導致研究和期望產生了巨大的落差,公眾熱情和投資削減,70年代中期進入第一次人工智慧的研究進入低谷。

6 第二次浪潮(1980-1987)

專家系統和人工神經網絡的興起,帶來了第二波浪潮。

所謂專家系統,即基於特定的規則來回答特定領域的問題的程序,在1964年費根鮑姆(Edward Feigenbaum)等人在史丹福大學研究了第一個專家系統DENDRAL,能夠自動做決策,解決有機化學問題,因此他也被成為「專家系統之父」

在1970年,史丹福大學的科學家們開發了專家系統MYCIN,通過600多條人工編寫的規則識別引發嚴重傳染病的細菌,推薦抗生素。

在1980年,卡內基梅隆大學開發了XCON程序,這是一套基於規則開發的專家系統,幫助迪吉多公司的客戶自動選擇計算機組件,為其每年節省了4000萬美元。

在巨大的商業價值的刺激下,工業界又興起了對人工智慧的熱情。在這樣的背景下,1982年日本通商產業省啟動了「第五代計算機」計劃,期望通過大規模的並行計算來建造通用人工智慧平台,不過10年間耗資500億日元後還是未能達到預期目標。休伊特(Carl Hewitt)認為大部分五代機的工作只是試著用邏輯程序去解決其他手段已經解決的問題。

1984在年度AAAI會議上,羅傑·單克(Roger Schank)和馬文·明斯基(Marvin Minsky) 發出警告,認為「Al寒冬」已經來臨,Al泡沫很快就會破滅,與此同時AI投資與研究資金也減少,正如70年代出現的事情一樣。

但是另一方面,深度學習的前身,人工神經網絡卻取得了革命性的進展,在1986年戴維·魯梅哈特(David Rumelhart),傑弗里·辛頓(Geoffrey Hinton) 等人推廣了由保羅·韋爾博斯(Paul Werbos) 發明的反向傳播算法(BP算法),使得大規模神經網絡訓練成為可能。反向傳播算法的出現,使得神經網絡隱藏層可以學習到數據輸入的有效表達,這就是神經網絡乃至深度學習的核心思想。那時候的神經網絡就好比上個世紀90年代的網際網路,是一種時尚潮流。

雖然因為當時的計算機性能的限制,未能取得工業級的應用,但是這一次的蓄力,為第三次的興起和爆發奠定了基礎。

7 第二次浪潮後的蓄力

在第二次低谷之後,科學家們顯然更加理智,當然也是因為其他學科暫時吸引了他們的注意力,包括統計學習理論,支持向量機,機率圖模型等,這些方法帶來了傳統的機器學習方法的理論研究和應用,雖然機器學習在1957年就被阿瑟·薩繆爾(Arthur Samuel)提出。

在這一段時間裡,統計學習類的機器學習算法就是人工智慧的代表,但是由於它本身是一門數據驅動的應用學科,沒有達到人工智慧那樣的廣泛,因此大家不再叫人工智慧,也降低了對它的期望,利用這些方法來做一些更加實際的問題,研究和應用方向也覆蓋了計算機視覺到語音等等。

不過,在以SVM為代表的傳統機器學習方法數十年間光芒的背後,卻仍然有一股力量在蓄力。

在1980年neocognitron被提出,這是第一個真正意義上的級聯卷積神經網絡,雖然具體的卷積方式和今天的CNN還有一定的區別。

同一時期RNN也被提出並使用。

1989年Yann LeCun與AT&T貝爾實驗室的其它研究人員將反向傳播算法應用於多層神經網絡,並在1998年提出了穩定可商業應用的卷積神經網絡模型LeNet-5,成為了深層卷積神經網絡模型的「Hello World」。雖然它不是第一次使用卷積神經網絡,但是它的出現意味著將神經網絡商用的可能性被驗證。

1997年賽普·霍克賴特(Sepp Hochrei ter))和于爾根·施密德胡伯(JurgenSchmidhuber)提出了LSTM(長短期記憶),用於識別手寫筆跡和語音。

2001年史匹柏拍攝的電影《人工智慧》上映,這是一部非常具有里程碑意義的人工智慧啟蒙電影,所以我也將其放在這裡講述。

2006年傑弗里·辛頓(Geoffrey Hinton)等人在science期刊上發表了論文「Reducing the dimensionality of data with neural networks」,揭開了新的訓練深層神經網絡算法的序幕,通常這被認為是第三次浪潮的發源,但其實彼時還遠遠沒有引起學界的重視,至少工業界幾乎全然不知。

很快史丹福的李飛飛等人開始研究Image Net項目,這是一個大型的開源資料庫,在2009年正式發布,超過1000萬數據,兩萬多個類別。2010年Image Net大規模視覺識別挑戰賽(ILSVCR)開始舉辦,從此揭開了計算機視覺研究的新序幕。

8 第三次浪潮

雖然2006年Hinton在science上發表的文章有足夠的學術意義,但是第三次浪潮的興起還是要從工業界發生的具有足夠震撼力的標誌性事件開始算起。

驗證新技術是否足夠好的最好方法就是和其他方法以及人類進行PK。

2011年IBM開發的自然語言問答計算機「沃森」在益智類綜藝節目「危險邊緣」中擊敗兩名前人類冠軍。前兩輪與對手打平,而最後一集沃森打敗了最高獎金得主布拉德·魯特爾和連勝紀錄保持者肯·詹寧斯,人們驚呼,機器也會思考了嗎?

2012年,在計算機視覺領域的競賽Image Net中,新一代卷積神經網絡AlexNet,以提升10%的錯誤率的進步力壓第二名以SIFT+FV, LBP+FV, GIST+FV, CSIFT+FV等組合特徵的算法。從此人類設計的特徵再也不是機器自主學習特徵的對手。雖然在此之前語音識別以及取得了足夠大的進展,但是彼時語音識別仍然未能商用而沒有那麼被人所知。

2016年Google的AlphaGo以4:1的成績戰勝了世界圍棋冠軍李世石。一年後,AlphaGoMaster與人類實時排名第一的棋手柯潔對決,最終連勝三盤。而新一代AlphaGo Zero利用自我對抗迅速自學圍棋,並以100:0的成績完勝前代版本。自此AI下棋再無敵手。

此後,以深度學習為代表的技術,引領了當下的熱潮。此所謂第三次潮起,會不會潮落不知道,我知道的是現在正在潮中。

文章來源: https://twgreatdaily.com/zh-cn/cOeqDmwBmyVoG_1ZvQDB.html