把視野縮小到「要像OpenAI那樣」是很危險的,你完全可以從OpenAI中得到啟發,走得更遠,走得更不同。
作者|甲小姐 劉楊楠
編輯|王博
「這是計劃的一部分。」
這是《三體Ⅱ:黑暗森林》中,面壁者為了掩飾自己的真實計劃而對外說的一句話。無論面壁者做的事情有多麼荒唐,都可以被解讀為「這是計劃的一部分」。人們願意相信「瞞過智子,對抗三體人」的偉大壯舉是可以被計劃的。
在約定俗成的社會理念中,每開始一項工作,人們總是習慣性地「確立目標-制定計劃-執行計劃-完成目標」。這套流程意味著明確的方向和有效的結果。
但是,做好計劃真的是「萬靈藥」嗎?
來自OpenAI的科學家肯尼斯·斯坦利(Kenneth Stanley)和喬爾·雷曼(Joel Lehman)並不這麼認為,他們提出了一個觀點:真正的偉大無法在計劃中誕生,並根據這個觀點寫作了一本書——《為什麼偉大不能被計劃》。
在兩位科學家看來,決定某一技術領域能否出現偉大突破的「踏腳石」,很大程度來自於另一個看似毫不相干的領域。
回顧歷史,萊特兄弟發明飛機,最早用的是自行車技術(自行車就是飛機的「踏腳石」);微波技術本來是用於驅動雷達磁控管的一個部件,意外成就了微波爐;世界上第一台計算機是用真空電子管製造的,但真空管的歷史與計算機毫無關係;如今被人工智慧企業搶破頭的GPU,最初只在遊戲領域大放異彩;電子產品的普及帶火了鋰電池,而鋰電池後來成為了點燃新能源汽車產業的第一把火。
作為OpenAI最偉大的產品之一,ChatGPT當初並不是其計劃中的產物,但ChatGPT橫空出世,直接顛覆了移動網際網路時代的人機互動方式,也讓人們開始重新審視,在即將到來的通用人工智慧時代,人與機器誰才是世界的主宰。
成功的標準往往具有一定欺騙性,它可能會阻礙人們發掘必不可少的「踏腳石」,這些「踏腳石」一起挑戰著人類社會一直以來對於目標和計劃的「盲目崇拜」。
兩位科學家認為,過於宏大的計劃有時也會成為「枷鎖」,偏離計劃航線之外、無法服務於最終目標的探索將被認為是一種無用的浪費,而這種「目標驅動」的價值導向最終很可能將「偉大的創新」扼殺在搖籃里。
這個有些出位的觀點,來自兩位科學家的一個「看似不起眼,但十分有趣」的研究項目。作為OpenAI的科學家,肯尼斯·斯坦利和喬爾·雷曼一直致力於人工智慧和機器學習的研究,見證了OpenAI和ChatGPT一路的成長,並不斷反思這段歷程帶來的哲學性啟發,最終落筆成書。
本文,甲小姐深度對話肯尼斯·斯坦利和喬爾·雷曼,試圖與他們共同探尋「為什麼偉大不能被計劃」這一核心觀點背後的底層邏輯。
1.談計劃:「幾乎沒有任何偉大的事物是通過規劃而成功的」
甲小姐:OpenAI連續七年堅持GPT路線,並以實現AGI為願景,最終打造出ChatGPT。你們寫的這本書的名字是《為什麼偉大不能被計劃》,你們認為OpenAI「偉大」嗎?ChatGPT是「計劃」的產物嗎?
喬爾·雷曼:OpenAI做了很多了不起的事,但ChatGPT絕對不是OpenAI成立之初的目標,許多通往ChatGPT的踏腳石也都沒有把ChatGPT當成最終目標,比如Transformer架構來自谷歌。OpenAI的許多早期探索都與電子遊戲、多代理模擬(multi-agent simulations)和機器人有關,他們在這些領域廣泛探索並取得了巨大成功。不過,有一條主線貫穿OpenAI研究的始終,即規模——大型神經網絡、大數據、大量算力的重要性,很多人遲遲沒有意識到這一點。但即便如此,ChatGPT的成功,以及它掀起的文化浪潮還是出乎我的意料。
肯尼斯·斯坦利:GPT和ChatGPT是偉大的發現,它們不是計劃中的。GPT-3之前,GPT-2並不那麼為人所知,它離人類智能還很遙遠。但有人意識到它很有趣。我們在書中寫道,有時投資某件看起來很有趣的事情或許是個好主意,即使你不知道它會帶來什麼。結果是,投資GPT-2帶來了GPT-3,後來又有ChatGPT問世,二者在某種程度上都是計劃外的。
甲小姐:你們在書中提到:「偉大的成就總是在沒有計劃、意想不到的地方誕生。沒人會想到電子產品熱銷推動的鋰電池技術進步,最後會成就革新汽車產業的特斯拉;遊戲產業需求催生的高性能顯卡,會成為未來AI大模型激烈競爭的基礎。」雖然這些不是計劃的產物,但也需要有關鍵的公司、關鍵的人去發現事物之間的關係,去發現踏腳石,從而帶來新的技術和產品。你們認為,這些關鍵的公司、關鍵的人有哪些特徵?他們與計劃的關係是什麼?
喬爾·雷曼:鋰電池和GPU本身就是有趣的踏腳石。關鍵在於,我們是否有能力從這些踏腳石中看到未來的機會。例如,深度學習研究人員認識到大規模並行計算可以實現某種特定的大規模神經網絡。關鍵公司和關鍵人物都能夠認識到事物的發展前景,並判斷出從中可能衍生出哪些有趣的新事物。
肯尼斯·斯坦利:真正偉大的成就背後,是有人注意到了一塊新的踏腳石,讓原本非常遙遠、不太可能發生的事情突然變成了可能。最先注意到世界變化的人,往往就是成就偉大的人。例如,GPU很早就在顯卡領域出現了,但人工智慧領域並未過多關注GPU,直到人們發現GPU可以處理神經網絡,才意識到GPU可能是人工智慧領域的踏腳石。我們無法計劃踏腳石何時出現,但第一個意識到踏腳石出現的人會得到很多回報。
甲小姐:不同的科技成果在科技發展的領域內有不同的成長路徑。「偉大不能被計劃」這句話有沒有局限性或適用範圍?
肯尼斯·斯坦利:如果某件事近在咫尺,做計劃是有意義的。但當我們希望實現一些宏大的目標時,偉大就無法計劃了。
比如AGI,我們無法確定通往AGI的踏腳石是什麼,因此我們必須不斷探索。請相信,每過一年,就會有更多踏腳石出現,我們就會距離AGI更近一點,只是我們無法提前知道踏腳石是什麼。
甲小姐:過去幾十年,中國從國家層面領導了眾多技術創新項目。其中許多項目都有精確的目標導向。例如,上世紀八十年代啟動的中國國家高技術研究發展計劃,也就是著名的「863計劃」,就為各個尖端技術領域設計了發展藍圖,極大地推動了中國高新技術的進步,你如何看待這種計劃帶來的巨大作用?
肯尼斯·斯坦利:「863計劃」包含很多內容,我並不了解全部的歷史,很難評價。但美國也發起了許多全國性的倡議,其中包含很多科研計劃。
人類社會往往只允許人們有目的地說話,所以我們的框架都是帶目標的,並以此來概括我們所有的努力。但當人們有所發現時,他們往往有非目標的直覺,只是說「這很有趣」。
這些非常有目標指向的大型計劃,並不總能按照既定的方式實現。研究者因為某個項目得到了資助後,可能還是會做出非目標的決定,並最終對社會產生積極影響。一般來說,這類資助項目往往是事後在目標導向的意義上被定義為成功。這很不幸!再次強調,這不是對某個項目的批判。
某種程度上,一個鼓勵創新的社會,制定一些不那麼目標導向的計劃可能更有意義。實際上,資助方付錢給研究者是為了開闢新領域,不是為了實現某個特定的最終目標。這個過程有很多可能性,但問題是,目標驅動型研究得到了大量的資金,而那些目的性不強的研究幾乎沒有資金。這個問題需要全球科技界思考。
甲小姐:中國的「兩彈一星」很偉大,是計劃的產物;美國的「信息高速公路」很偉大,也是計劃的產物;埃隆·馬斯克給我們帶來了很多偉大的創新,有些是未經計劃的,但很多也是計劃的產物,比如SpaceX、儲能超級工廠……我們可以各自列舉出「計劃帶來的偉大」「計劃導致的失敗」「不被計劃帶來的偉大」「不被計劃導致的失敗」這四方面的案例。案例可以證明觀點,但案例也會以偏概全。比起觀點之爭,我更想知道,你提出「偉大不能被計劃」更深層次的邏輯是什麼?
肯尼斯·斯坦利:你提出的「很多事情都是目標導向」這一觀點,我有不同的解釋。我認為埃隆·馬斯克和特斯拉並不是目標驅動的結果。埃隆首先意識到,大規模量產的鋰電池是一塊踏腳石——這不是規劃而來的。此後,計劃就變得可行了。
如果你只差一步之遙,制定計劃確實很有意義。你不可能在20世紀50年代計劃要登上月球。我們可以真正實現登月目標,是因為踏腳石已經鋪好,而在100年前制定計劃是毫無意義的。因此,我更傾向於一種激進的觀點,即幾乎沒有任何偉大的事物是通過規劃而成功的。
甲小姐:既然所有案例都如此複雜,你如何避免從這些故事中得出誤導性結論?
喬爾·雷曼:所有最偉大的發明都不會來自於大規模的發明浪潮中,就像你不可能直接從火堆里找到筆記本電腦一樣。有些事情可以通過計劃來實現,有些卻不能。
目標驅動型工作很容易爭取資金,也很容易在文化和社會上獲得關注,相比之下,我們沒那麼尊重非目標驅動的任務。對我來說,最重要的部分是隨著時間推移展開的探索過程,它將我們引向一個非常奇妙的地方。
甲小姐:很多人都知道OKR、KPI,這些計劃可能跟你們書中提到的計劃含義不太一樣,卻是我們在日常工作中離不開的。你們在OpenAI有工作計劃嗎?方便問問你們的OKR或KPI是什麼嗎?
肯尼斯·斯坦利:我不想特別評論OpenAI。整個矽谷都有OKR和KPI,包括研究實驗室。我認為至少在研究或創新領域,在公司的某些創新部門,OKR和KPI是一個錯誤。
通過OKR來指導研究實驗室只會適得其反,誤入歧途,因為很多時候,那些真正能帶來重大發現的事情看起來並不像所謂的「重大發現」。因此,你的KPI可能會誤導你走入死胡同,或者做一些無關痛癢的事。我們需要另一種制度,承認趣味性是可以追求的實際具體事物,比如「為了有趣而追求趣味性」。
實際上,我已經嘗試在我的新公司建立這樣一個新體系。當時我的聯合創始人提出要制定OKR,被我攔下了。公司不能有OKR,這對創新不是很友好。我試著想出了一個替代體系,細節我就不多說了。但在公司的其他方面,規劃是有意義的,比如規划下一年的預算,升級公司的主伺服器群等都可以設定為目標。我並不主張完全擺脫OKR和KPI,只是對於專注於創新的公司內部,擺脫這些確實是有意義的。
喬爾·雷曼:我完全同意肯尼斯的觀點。在研究領域,幾乎所有的OKR、KPI都有些奇怪的地方,比如「在世界級會議上發表3篇論文」——這只會激勵研究者去參與論文比賽,而不會真正去做變革性的科學研究。
2.談範式:「當每個人都在扎堆時,要想辦法與眾不同」
甲小姐:OpenAI似乎已經成為行業的指南針。我們採訪了很多中國人工智慧從業者,有人說要用OpenAI實踐來驗證自己的創新想法,還有人提出了超越ChatGPT的目標。這種想法是否有利於中國人工智慧產業的發展?
喬爾·雷曼:這個問題很微妙。從目前行之有效的最佳實踐中汲取靈感,對訓練大規模語言模型是非常有意義的。但如果總是在和其他人相同的範式下工作,你的目標是什麼?
OpenAI開創的範式不一定會無限期存在,他們也無法保證是否會出現其他範式。把視野縮小到「要像OpenAI那樣」是很危險的,你完全可以從OpenAI中得到啟發,走得更遠,走得更不同。
甲小姐:現在的確有點缺乏多樣性,所有人都在討論ChatGPT。
喬爾·雷曼:這有些危險,幾乎是一種悲劇。下一件擊敗ChatGPT的事情可能完全不同,它可能來自不同的架構,可能是聊天機器人之外的其他有趣應用。
人類的天性就是喜歡扎堆。當每個人都在扎堆時,要想辦法與眾不同。這通常很難做到。
社會要有空間來孵化不同算法、不同方法、不同思維方式。你看楊立昆(Yann LeCun)研究卷積神經網絡初期,他甚至還默默無聞地苦苦掙扎了一段時間,並沒有得到太多資助。但如今,卷積神經網絡已經廣為人知,它作為一個踏腳石的作用非常強大,還將繼續發揮巨大作用。在人工智慧領域,其他研究人員或許正在點亮其他踏腳石。
甲小姐:你們在書中還提到了「定理派啟發式方法」和「實驗派啟發式方法」兩類人工智慧研究方法論。回看整個人工智慧研究歷程,從符號主義到連接主義再到行為主義,人工智慧研究似乎是一個從「定理派啟發式方法」不斷向「實驗派啟發式方法」轉變的過程,即研究者對人工智慧算法的嚴密論證越來越少,越來越像做化學實驗一樣,以最終性能為導向反向調整算法,算法的黑盒效應越發嚴重。為什麼會有這種變化?
肯尼斯·斯坦利:我們在書中對兩種方式都進行了批判,認為兩者都有缺陷。從歷史上看,隨著神經網絡越來越占據主導,實驗派啟發式方法也更加普遍。神經網絡很難進行理論分析,但人們仍然對理論結果感興趣。
神經網絡有點像生物有機體,它們知道自己要做什麼。你無法提前計算出結果,也無法預測會發生什麼。你必須訓練它,然後找出答案。從理論上講,對神經網絡進行的行為預測是不可證明的,它只能基於某種假設設定。
任何一種方法,都無法保證我們處在一個有趣的踏腳石上。如果在某個特定實驗中,方法A的效果不如方法B,並不一定意味著方法A就不是通往AGI的黃金門票。好比現在你要和一個3歲小孩比考試成績,你當然比他好很多。但那個3歲的孩子也許會在五十年後成為歷史上最偉大的天才之一。
我們倡導一種更為困難的範式轉變,不依靠理論或實驗,而是論證「何為有趣」。不過,只是因為有趣就去做某件事很難融入社會。
甲小姐:有些研究人員正在大力推動「可解釋人工智慧」和「人工智慧與人類對齊」的研究,使人工智慧更加安全。這些研究方向是好的踏腳石嗎?
喬爾·雷曼:可解釋人工智慧絕對是很好的方向。神經科學的發展史表明,解讀我們的大腦是相當困難的。如果能更多地了解這些模型,了解它們是如何工作的,很可能向我們揭示出一些未知的東西。
此外,有種說法是,「語言模型的很多知識都反映了我們自己的文化和態度」。但人類社會中,有很多事情都是相互錯位的,例如公司和消費者對同一產品會有不同理解。我擔心我們現在的研究視野會過於狹窄,無法提出真正有趣的哲學問題。
3.談爭議:「當事情真的很危險時,偉大不再重要」
甲小姐:目前全球對GPT系列模型的認識是否存在誤區?
喬爾·雷曼:肯定會有誤解。我時常想我們現在最應該談論的是什麼?從GPT到GPT-2,再到GPT-3,看似呈現一種線性路徑,但GPT-2到GPT-3的跳躍仍然需要一些膽識和遠見。
肯尼斯·斯坦利:現在每個陣營都有強烈的觀點。有的陣營認為,我們離人類水平的AGI只有一步之遙;另一個陣營則認為我們很快就會碰壁,整個範式都有缺陷,大模型可能永遠無法擺脫幻覺的困擾。
每個陣營都很確信自己知道未來會發生什麼,這正是最大的誤解。事實上,我們根本不知道未來會發生什麼。正因為還有很多我們不知道的東西,AGI才更加有趣。 如果我們能更好地理解這些未知的部分,它們就能告訴我們什麼是真正的智慧。因此,我們需要不斷探索未知。如果每個人都確信我們了解很多,即使彼此意見相左,也很難展開討論。
甲小姐:近期,全球對構建開源系統的熱情高漲。有人認為,開源更有利於生態繁榮。反之,也有人認為閉源更便於體系創新,更考驗企業的綜合能力。你認為開源和閉源生態在未來的人工智慧生態中扮演著怎樣的角色?
喬爾·雷曼:開源模型確實能鼓勵更多的研究人員去嘗試,去改變,去測試真正激進的想法,並且有機會接觸到開源模型實際的內部結構。但如果你不在OpenAI工作,你就無法真正接觸到激活的程序,也就無法以新的、不同的方式對其進行微調。所以可以預見的是,這將導致生態系統中的創新減少。例如,圍繞開源圖像模型stable diffusion會有大量有趣的新模型出現,但從生態的角度看,這似乎只擴大了模型生態。
從賺錢的角度看,如果你在訓練最大的模型,就需要重塑你所做的投資。所以閉源模型的出現也合情合理。我想在不久的將來,開放式的模型會更小一些,能力更弱一些,而閉源模型的規模會更大,並且更便利。
使用閉源模型,有人會為你託管,並負責所有細節。你也會在閉源模型領域看到很多有趣的創新,比如很多很酷、很有趣的使用語言模型推理的方法。但你只是在推動模型的發展,你可以探索的範圍有限。
現在有很多有趣的東西,比如所謂的BabyAGI,這些實驗讓人工智慧有能力去瀏覽設備,從而變得更加自主;還有很多公眾科學類的東西,也很吸引人。因此,這其中有不同的權衡。但我確實認為,開源會帶來更多發現,讓人們能夠玩轉各種東西。
甲小姐:你們在書中提到:「我們不得不面對這樣一個令人不安的事實,即我們無法確定任何經驗法則能否成為追求實現人工智慧目標的可靠指南。」這種不安幾乎是當前社會各界對人工智慧研究的普遍情緒,在你們的感知中,這種不安從什麼時候開始?從技術本身出發,像兩位一樣的AI研究人員現在能做哪些事來化解這種不安?
肯尼斯·斯坦利:這種不安或許不需要化解,它是目標問題的一部分。每個人都想定義一個目標,知道你的目標是什麼,並根據目標來衡量你,這就造成新的不安。但這是一種誤導,因為世界並不是這樣運轉的。僅僅是性能指標在上升,並不意味著你真的在朝著目標前進。因為這個世界非常具有欺騙性,我們應該做的是認識到這個世界的實際運作方式。
我們也許可以享受這種不安,它來自於一種不確定性。我們確實不了解很多事物,我們不知道路在何方,但這意味著有很多有趣的事情需要探索。我們缺乏這種探索,而我們最不了解的地方才是最有趣的地方,這就是我們的方向。
歸根結底,我們必須認識到,在我們非常非常接近結果之前,我們都會有這種不安。也許有一天,我們會離終點很近,真正實現了人工智慧,我們的不安就會開始消失,我們會發現我們就快成功了。當然,我們還會有其他的不安,擔心實現人工智慧會產生什麼影響,但對正確方向的不安會消失。但我們還沒到那一步。我們仍處於不確定的階段,這是完全健康的。我們應該加倍努力探索未知,而非投資於目前熟悉的事物。
甲小姐:山姆·阿爾特曼(Sam Altman)一直在努力呼籲各國建立人工智慧安全系統。你們認為人工智慧需要儘早限制嗎?
喬爾·雷曼:這是一個很深奧的問題。我和肯尼斯的觀點可能會有些分歧,我更警惕一些。我最擔心的是一些深層的人工智慧安全問題。我有很多不確定的問題,比如,如果我們創造了比我們更聰明的東西,這意味著什麼?
我們在書中也提到了一個問題,那就是開放式創新與偉大成就之間的矛盾,及其可能帶來的風險。例如開放式創新創造了核武器,卻也創造了可能帶來世界末日的幽靈。因此在某些時候,我仍然會對人工智慧感到不安。我不清楚。這個問題可能真的沒有答案。
肯尼斯·斯坦利:我補充一個有趣的問題:不限制會不會更安全?
我同意喬爾的觀點,我們應該關注人工智慧對人類社會的影響。但一個複雜的問題是,讓人工智慧發展得更好可能會更安全。
導致人工智慧安全焦慮的部分原因可能是,它缺乏自省能力、溝通能力、自律能力,無法以人類信任的方式向人類解釋它在做什麼以及為什麼要這麼做。但如果人工智慧進步了,變得更先進了,也許它們就能更好地解釋自己,讓我們信服,從而信任它們。如果我們說:「我們不能做這種事,太危險了」, 這實際上會降低他們的可信度。這是自相矛盾的。我不知道該如何解決這個問題,但這是一個值得認真考慮的問題。不過儘管如此,我確實認為人工智慧需要一些約束,但我真的不清楚答案是什麼。
甲小姐:成就了OpenAI的方法論也可能會造成它的問題,比如如今的阿爾特曼似乎變成了一位「政治商人」,他在積極和全球政治家溝通,尋求並探索AI的監管治理。「不被計劃帶來的偉大」,是不是有可能「在計劃中式微」?
喬爾·雷曼:是的。我承認一些監管可能有用,法律的出台肯定會對人工智慧的研究和發展產生積極的影響。但是,制定法律是困難的。我希望人工智慧技術的監管政策背後能有一些理智的程序。
肯尼斯·斯坦利:當事情真的很危險時,偉大不再重要。在某些時候,技術可能越過了一條與偉大無關的線。例如,在經濟領域,你會看到政府往往相當保守,但如果我們願意,我們也可以徹底改革整個經濟體系,並嘗試一些不同的東西。即使它可能很有趣,但我們不會那樣做,因為這樣太危險了,數百萬人可能會挨餓或更糟。
現在人工智慧可能還沒有到這個水平,可以想像,當探索人工智慧的風險不抵收益,它可能就不值得再探索。但問題是,我不知道人工智慧什麼時候會越界。很多事情不總是關於「偉大」,有時你只是試圖保守地保證事情的安全。
甲小姐:傑弗里·辛頓(Geoffrey Hinton)等學者認為,世界上還沒有過智力較低的物種控制智力較高的物種的先例,由此假設,如果有一天人工智慧的智力超過人類,人類很可能會被滅絕。你們如何看待未來強人工智慧和人類的關係?
喬爾·雷曼:就在幾年前,談論這個話題還像是科幻小說。在一個特定領域實現最具變革性的宏偉目標,對人類文明來說可能是有風險的。如果我們真的創造了比我們聰明得多的東西,它之於我們,就像我們之於螞蟻一樣。哲學上的爭論還在發展中。從經驗上看,人工智慧安全領域的工作肯定是要讓這些模型更加一致。這很好,但人類從未考慮過這一門檻,如果真的到了那一天,我們要非常謹慎。
肯尼斯·斯坦利:智慧是多維的,有不止一個組成部分。人工智慧是否能在所有維度上都更加智能?我並不確定。
智能在某些方面的成就可能會有一些內在的限制,比如有效溝通的能力到了一定程度就不能再有效了。智力需要通過實驗來了解世界,沒有與世界的實際互動,你就無法掌握智力。因此,如果我們限制了人工智慧接觸外部世界的能力,它就不能成為主宰,因為它好像沒有能力做那些實驗。也許有某種武器可以用來完全統治地球,但製造這種武器肯定需要大量的物理實驗。如果這個東西無法接觸到真實的物理世界,它究竟是如何研製出這種武器的呢?
這是一個非常多方面的問題。讓它超越我們,接管我們的生活或類似的事情可能沒那麼容易。但這樣的情況仍然非常危險。它需要受到制約。
4.談競爭:「競爭會在某種意義上耗盡創新」
甲小姐:在這輪人工智慧熱潮中,谷歌、Meta、微軟以及中國各大科技巨頭之間已經形成了競爭關係,甚至有媒體曝出在OpenAI和微軟之間也存在暗箱競爭。但也有觀點認為,良性競爭能夠進一步刺激創新。你是否認同這種觀點?你認為當前的全球競爭格局是良性的嗎?
肯尼斯·斯坦利:競爭會導致趨同,促進局部最優。競爭會在某種意義上耗盡創新。如果你把它看成是一場軍備競賽,你就必須贏。你承受著巨大的壓力,承擔不起風險,這種情況下,你需要做出保守的選擇。你會被迅速推向把「武器」越造越大、越造越多的方向,而沒有時間去考慮其他可能性。
當你減輕競爭壓力時,就可以嘗試一些有趣的東西,這些有趣的事情會帶來真正激進的創新。
目前人工智慧領域每個人都在向大型語言模型靠攏,在此之前,人工智慧領域還有很多其他想法。現在,語言模型獲得了99%的資金,而其它路線只獲得差不多1%的資金。
如果我們真的快到了整個遊戲的終點,這也許是好事。但如果我們沒有快到終點,就會導致趨同。這是肯定的,他們會縮減開支。我們必須後退,遠離競爭對手,一切才會放鬆下來。但現在,我們被鎖定在這樣的競爭中。所以我預測短期內創新會越來越少。
甲小姐:你們認為中國在未來全球人工智慧發展進程中會扮演什麼角色?
喬爾·雷曼:我對中國的研究還不是很了解,但確定的是,中國的人工智慧研究在影響力和資金方面都在不斷增長。
一個懸而未決的問題是,人工智慧領域的下一個重大變革性技術是來自中國還是美國?傳統的觀點可能是來自美國,但這是一個有趣的開放性問題。我原以為美國讀者會更加認同我們這本書的內容,但這本書在中國似乎也很受歡迎。中國對開放式創新相關內容的興趣,很可能會影響到他們之後進行更多元的變革性研究。
肯尼斯·斯坦利:有一點很清楚,那就是中國有足夠的資源做大事。中國對大型語言模型和AGI的痴迷也意味著他們有意願發展人工智慧。很難說人工智慧研究是否有真正的贏家,無論中國還是其他國家,他們都為人工智慧研究整體進步的多樣性做出了貢獻。未來可能會有一個國家率先實現了通用人工智慧,但沒人知道究竟是誰。現在可能會有人說是OpenAI,但客觀上看似領先的東西並不意味著它就是正確的踏腳石。
中國有很大的人口優勢,有足夠多的人去嘗試各種東西。因此,我預計中國會有非常有趣的創新。現在中國肯定是走在前列的,而且有機會。如果中國只是一味地追趕OpenAI,中國就很難做其他更有趣的嘗試。人工智慧領域的下一件大事是與眾不同的,而不是OpenAI,這才是資源應該去的地方。
5.談創新:「嘗試一些跳出當前主流範式的創新」
甲小姐:如果偉大的締造者們沒有計劃,只是在埋頭做事,他們如何意識到一些細枝末節中可能會生長出偉大的時刻?
肯尼斯·斯坦利:人們善於發現有趣的事情。新事物出現時,我們常討論的機遇、科學或投資都是目標導向的,但我們應該更多討論「趣味性」這個主觀問題。人類最偉大的才能之一,就是在尚未明確具體方向時,理解新想法或新事物的有趣之處。因為有了新想法或新事物,世界才有了全新的視野和機遇。
人們往往善於在自己的專業領域內發現有趣的踏腳石。在某個領域經驗豐富的人,對新事物是否有趣的直覺和感覺真的很重要。當然,「專家一定知道什麼是有趣的」這種觀點不一定正確,但專家至少能夠和你討論為什麼這個問題很有趣。
甲小姐:「有趣」是成就「偉大」的重要前提嗎?
喬爾·雷曼:是的。「趣味性」是一個很深的話題,不同的人會被不同的有趣事物所吸引。有一種說法是,直覺來自於深厚的專業知識,來自於對可能出現的新事物的深入了解。各個領域都會有一些有趣的創新,但沒有被完全聯繫起來。有些例子表明,來自某個領域的有趣事物會啟發另一個領域。例如,GPU讓人工智慧研究者重新審視神經網絡世界中的基礎假設。
甲小姐:喬爾,在你過往經歷中,有哪些研究方向是你認為比較「有趣」,但因為「目標驅動」的原因而被主流研究方向放棄的?
喬爾·雷曼:這是個好問題。我一直對邊緣研究方向感興趣,邊緣研究方向模糊不清,他們沒有被完全忽視,但也沒有被完全接受。
我與肯尼斯合作後開始研究開放式創新。當時這個方向還比較小眾,只活躍在一個很酷但並不為人所知的社區——「人工生命」(Artificial Life)。我很驚訝,在我開始研究前,已經有人著手研究開放式創新了。
最近,我對機器學習、心理學以及兩者如何結合的邊緣研究方向很感興趣,這也是一個小眾話題。我發現自己總是試圖論證我所做的事情是有意義的,希望歷史能證明這個研究方向的價值,也希望這個方向能夠得到越來越多的支持,讓我們拭目以待吧。
甲小姐:我有很多學術界的朋友也會遇到類似情況,他們必須向其他人解釋,為什麼自己的項目很重要。即使只是一些很小的事情,他們也要在一開始把它變成一個大目標,以目標為導向,籌集更多資金,獲得更多支持。這是一個自我探索的過程。
肯尼斯·斯坦利:我們在書中提到了一個非常有趣的「圖形孵化器」項目,叫做Picbreeder,它讓我們最初發現了關於「目標」的悖論。
當時我們想做一個孵化圖片的網站,很多人都想知道為什麼要做一個這樣的網站。唯一的答案就是,有趣。大量用戶在網站上孵化圖片就會發生一些有趣的事,但我不知道具體會發生什麼,這給我們的工作帶來了巨大的麻煩。
我們的社會文化是,定一個宏大的目標,完成目標才能獲得科學資助。但我們無法解釋這個項目的目標是什麼,完全被困住了。我只能說,這個網站一定很有趣。我們提交項目撥款申請時被拒絕了,相關機構都說不清這個網站的最終回報是什麼。但我們最終還是無視了那些資助機構,推進這個項目。雖然沒能獲得資金非常遺憾,但這個項目引發了我們今天關於開放式創新的所有討論。
甲小姐:我想如果有可能,每個人都會很喜歡開放式創新。「開放式創新」需要大量的人力、財力以及時間的投入,但有時出於現實條件的制約,包括中國在內的發展中國家需要利用有限的資源儘可能創造最大的價值。這種情況下,合理設定目標似乎成為一個必然的過程,你認同嗎?
喬爾·雷曼:我不同意,但這個問題很有趣。有一種誤解是,資源有限時,你可能會把一些資金投向穩賺不賠的創新方向,但你依然需要承擔一些合理風險。但以Picbreeder為例,一些科學家的發現有時會帶來真正巨大的附加值,歷史上也有科學家跨領域創新的故事,這些科學家是很好的投資對象。至少在美國有一家投資機構,會專門給創新成果良好的科學家投資。
甲小姐:你們期待中國未來在哪個領域產生更多的「開放式創新」?
喬爾·雷曼:這取決於中國的投資方向。現在中國似乎正在大力推動機器學習和人工智慧研究。問題在於,這種投資是在什麼樣的背景和環境下進行的,是否真的有空間進行開放式創新。我更傾向於,嘗試一些跳出當前主流範式的創新,比如不局限於「讓GPT性能升級1%」之類的目標,去發現一種新的架構,一種新的範式,孵化一些有趣的功能,這樣才能真正實現開放式創新。
甲小姐:在書中,你們討論了開放式進化的潛力。你如何定義開放式進化?在人工智慧的背景下,它的關鍵特徵是什麼?
喬爾·雷曼:開放式進化最容易描述,只需指出自然界中的一些例子進行推導即可,它是無止境的。比如生物進化,地球在數十億年的時間裡不斷創造出令人驚嘆的東西。人類是進化創造出來的,我們自身也成為了開放性創新的引擎,這就是創新的故事。
甲小姐:是什麼激發了你探索進化算法中的開放式概念並挑戰設置特定目標的傳統方法?
喬爾·雷曼:這並不是我最初的目標。我在本科時讀過一本書,書中談到了肯尼斯開發的一種特殊算法。這種增強拓撲的神經進化有點小眾,但真的很酷。這激起了我腦海中的一個想法:我們的大腦由自然進化而來,如果我們在電腦里也這麼做呢?受到啟發後,我申請成為肯尼斯的學生。我們第一天見面他就向我提出了「新奇性搜索」的想法,這成為了我研究開放式進化的突破口,這個問題歷來鮮有人關注。
甲小姐:直到今天,很多時候我們也會強調科技領域要加強產學研融合。按照書中的論述,產學研融合是否會在某種程度上成為創新的桎梏?
喬爾·雷曼:從理論上講,它們可以很好地結合在一起,即允許有鬆弛、新穎、有趣的探索空間,這是在為工業服務。
但我不確定從本質上講,是否必須進行產學研一體化。如果產業界的激勵機制大量滲入學術界,學術界或多或少就會成為產業界的延伸,而產業界的競爭壓力可能會比學術界更大。
在學界,深刻的科學發現似乎永遠不會有實際意義,但日後卻可能對商業產生巨大的影響。例如公鑰加密技術催生了電子商務,但它被發明的初衷並非如此。現在社會文化上的誘惑和我們寫這本書的原因就在於,我們並不欣賞產學研融合的方式。科學是一隻能下金蛋的鵝,我們不想殺死它,我們想努力保護它。