AI可以「做個人了」，怎麼辦

「GPT-4o可以綜合利用語音、文本和視覺信息進行推理。」OpenAI首席技術官穆里·穆拉蒂在隨後舉行的主題演講中表示，GPT-4是OpenAI此前的旗艦模型，可以處理圖像和文本的混合信息，而GPT-4o則在此基礎上新增了語音處理能力。最關鍵的是，其反應速度平均為320毫秒，完全做到了與人類在正常對話中同頻。多位業內人士指出，這是此前GPT-4或任何智能語音助手都未曾達到的水平。

就在OpenAI發布會24小時後，5月15日凌晨，谷歌在「I/O開發者大會」上發布了大模型Gemini加持下的個人數字助理Project Astra，用於對標GPT-4o。谷歌稱其為「通用AI智能體」，其視覺識別和語音交互效果與GPT-4o不相上下。不少業內人士感嘆，曾幾何時由蘋果發布會主導的「科技春晚」，如今已被AI大模型徹底接手。

邁向通用語音助手

OpenAI創始人、CEO薩姆·奧爾特曼並未參加此次OpenAI發布會，而是在會後於社交平台X上發表了一個單詞「她」作為回應。在2013年的美國電影《她》中，男主結識了一個可以不斷適應環境的AI系統，並與其墜入愛河。這個AI系統所擁有的迷人聲線、幽默風趣和善解人意，如今GPT-4o似乎都可以實現了。

測試人員與GPT-4o對話，內容是為一場工作面試做準備。視頻/OpenAI官網

GPT-4o中的「o」源自詞綴「omni-」，有「全知全能」之義。對AI大模型而言，要做到全知全能、無障礙與人交流，首先要快。OpenAI官網顯示，GPT-4o在英文文本和代碼處理上與此前最新的GPT-4 Turbo的性能不相上下，但在非英文文本、視覺和音頻理解方面都更為高效。此前，若使用語音模式對話，GPT-3.5的平均延遲為2.8秒，GPT-4則為5.4秒。人類的平均反應時間一般為100毫秒到400毫秒，而GPT-4o最低可達232毫秒，因此後者可以提供幾乎無延遲的順暢交互體驗。

OpenAI此次未放出任何具體的技術文件，僅在主頁上用一段話介紹了GPT-4o的技術突破。普通的智能語音模型由多個獨立模型組成，分別實現音頻轉文本，文本吞吐和處理，以及文本再轉音頻等功能。ChatGPT就是負責文本吞吐和處理的核心，也就是智能核心。據OpenAI介紹，GPT-4o一改這種流水線模式，可以同時吞吐文本、畫面和音頻數據，這意味著所有輸入和輸出都由這一個核心來處理，再加上其在視頻和音頻理解方面的升級，其處理速度顯著加快。這一模式被稱為「端到端的多模態模型」。

多模態還意味著AI可以識別和表現情感。目前，市面上的語音助手常被用戶詬病為冷漠、機械、一成不變，這是AI語音交互的一大阻礙。這是因為，此前的流水線模式會讓智能核心丟失很多信息，它很難探測語調、識別多個說話者、排除背景噪聲，也無法歌唱或用語氣表達情感。端到端模式下，文字和音視頻都可以成為訓練智能核心的數據，從而讓其真正明白語言所承載的情感。

OpenAI發布會上，演示者要求GPT-4o調整說話時語氣，在說話和唱歌之間快速切換，甚至用堪比莎士比亞戲劇的誇張聲調來講一個睡前故事，GPT-4o都能完成任務。在被人類打斷時，其也能耐心等待、快速理解新指令。在聽到讓自己唱歌的要求時，GPT-4o甚至輕微嘆了口氣。

清華大學智能產業研究院首席研究員聶再清對《中國新聞周刊》稱，從現場和官方視頻來看，GPT-4o確實做到了即時回應、準確理解並執行指令，以及合時宜的語調情感。如果這確實是現場隨機的結果，而非為了演示而設定好的流程，那麼GPT-4o的能力的確令人震驚。在他看來，由於缺乏技術文件，一個GPT-4性能水平的處理核心如何完成如此複雜的任務，還未可知，但「這一定是大數據喂養的結果」。

除了現場演示，發布會還有網友提問環節。按照網友要求，GPT-4o展示了同聲傳譯、情緒識別的能力。在識別一位工作人員的面部情緒時，GPT-4o說「我好像在看一個木質表面的東西」，疑似「翻車」，但該工作人員立刻調整提問策略，聲明自己「不是一張桌子」。之後，GPT-4o給出了合乎情理的答案。

GPT-4o並不是第一個多模態模型。去年12月，谷歌Gemini Ultra模型發布，用於完成任務語言理解、數學推理等高度複雜的任務，被業內認為可叫板當時的GPT-4，也是市面上最先發布的多模態模型。在谷歌官方公布的視頻中，測試員和Gemini做了一些小遊戲，Gemini能夠用圖片設計智力問答，或者找出紙團被扣在哪個紙杯底下。整個過程中，Gemini的反應速度都非常快，還會生成音頻和圖片來輔助回答。但發布會後僅數日，谷歌發言人便公開承認，該演示視頻不是實時錄製， Gemini實際上只能對靜態圖像做出反應。

因此，GPT-4o的發布被業內人士看作是OpenAI對谷歌的「貼臉開大」。谷歌則緊隨其後，在15日的發布會上予以還擊。相比於OpenAI不足半小時的「輕聲細語」，谷歌用長達近兩小時、包含數十款AI產品的大轟炸叫板OpenAI，包括文生視頻領域對標Sora 的Veo，以及對標ChatGPT但文本吞吐量遠超前者的Gemini 1.5 Pro。

5月15日，谷歌執行長孫達爾·皮柴在谷歌I/O開發者大會上發表主題演講。圖/視覺中國

谷歌發布的視頻中，Project Astra能識別各種物體，說出代碼的功用，並與人類實時溝通，延遲上與GPT-4o沒有明顯差異。Project Astra還能與谷歌AR原型眼鏡「夢幻聯動」，為佩戴者描述周圍場景，並根據佩戴者的反饋補充細節。這一應用有可能力壓OpenAI，在未來成為視覺障礙患者的福音。有業內人士分析，除了搜尋引擎，谷歌在AI大模型領域還在拉平與OpenAI差距的過程中。

在聶再清看來，兩家公司接連發布多模態語音助手，在易用性方面邁出了一大步，讓人窺見了未來通用語音助手的樣貌。通用語音助手就是人類在數字世界裡的代理或管家，可以幫人解決一切數字事務，包括安排日程、整理和調用文件、利用知識指導學習、利用記憶推薦可能喜歡的產品等。未來隨著模型吸納的信息越來越多，語音助手會更加人性化、更加智能，做到真正的自然交互。隨著視頻能力的加入，除語音外，表情、肢體動作等也能夠被模型解讀，作為其決策的依據。有網友評論稱，無論是GPT-4o還是Project Astra，其身手足以秒殺蘋果的語音助手Siri。

距離用戶越來越近

OpenAI在發布會上表示， GPT-4o將在未來幾周內分階段集成至OpenAI的各項服務之中，包括還未面世的ChatGPT搜尋引擎。許多業內人士對此次發布會上GPT-5的缺席表示惋惜，由於OpenAI在2022年底推出ChatGPT的時候，實際上已做出了GPT-4，因此有業內人士預測，帶搜尋引擎的GPT-5也許已「在路上」。英偉達高級科學家Jim Fan在X上表示，GPT-4o已經接近GPT-5，或許是後者的一次早期試水。據聶再清觀察，目前還沒有看到模型疊代的瓶頸，大模型的疊代速度有可能還會加快。

奧爾特曼在X上表示，OpenAI致力於將GPT-4o免費提供給所有用戶使用。以往，OpenAI發布新版ChatGPT模型時，通常會將其置於付費牆之後。如今，免費用戶已經可以訪問GPT-4o加持下的多項功能，例如分析數據、創建圖表、撰寫文件總結等，但不能使用圖片生成功能。付費用戶則可以享受5倍調用額度。谷歌在發布會中沒有公布Project Astra的具體上線時間，預計很快會登錄到安卓、iOS等平台使用。

對開發者來說，GPT-4o的定價也更友好。OpenAI官網顯示，從GPT-4開始，輸入單位文本的價格一直在下降，相較GPT-4 Turbo，GPT-4o收費降低50%，調用速度卻提升了兩倍。這使其在商業應用上有了更大吸引力。聶再清表示，大模型控制價格的方式之一是提升模型性能，用更少的資源做更多的事；另一個方式則是通過類似搜尋引擎的商業模式，對用戶免費，但可以收取廣告商的贊助。

至於未來OpenAI和谷歌的大模型有沒有開源的可能性，聶再清表示，參考iOS和安卓，一個閉源一個開源，未來的大模型市場也極有可能出現開源和閉源的巨頭。用戶體驗最好的行業領先者傾向於閉源，而開源的好處在於可以集體將模型「做大做強」，二者在市場都有自己的位置。谷歌在發布會中推出了其首個視覺語言開源模型PaliGemma，針對圖像標註、視覺問答、圖像標籤化等方面進行了優化。此外，谷歌還將在6月推出更大規模的開源模型Gemma 2 27B。

OpenAI也同步發布了適用於macOS的ChatGPT桌面應用程式，使用戶調用的體驗更絲滑。

GPT-4o加持下的通用語音助手在未來將有廣泛應用，例如健康管理、醫療諮詢、教育教輔等領域。聶再清認為，所有開放領域用到的語音智能，例如購物App中的導購等，都可以加裝類似GPT-4o的智能核心，增強用戶體驗。這類語音助手將離用戶越來越近。

作者：周遊

編輯：杜瑋