GPT-5仍在秘密訓練中！DeepMind聯合創始人在近日採訪中透露，未來3年，Inflection模型要比現在的GPT-4大1000倍。開源模型可能會增加AI帶給人類的不穩定和危害。而AI安全性最大的威脅來源並不是大語言模型，而是未來可能出現的自主智能體。
Inflection AI是一家人工智慧公司，由Mustafa Suleyman擔任CEO。該公司正在開發一種新型的個人助理，能夠通過訪問用戶個人信息來提供高度定製化的AI服務。該公司不是一家AGI（通用人工智慧）公司，其目標不是製造能夠自主進化的智能體。
在近期的一次採訪中，Suleyman透露了關於GPT-5的最新消息。他表示，OpenAI正在秘密訓練GPT-5，而他認為，在未來18個月內，Inflection AI訓練的模型比當前的前沿模型大100倍。未來3年內，Inflection的模型比現在大1000倍。
Suleyman還談到了開源模型對AI安全性的影響。他認為，開源模型可能會增加AI帶給人類的不穩定和危害。相反，Inflection AI選擇將他們的模型保持在內部，並且只將其用於特定的任務。
在他看來，自主智能體是AI安全性最大的威脅來源。他指出，目前的大語言模型缺乏自主性和改造物理世界等危險要素，因此它們本身並不危險。然而，如果未來的智能體具備了這些能力，它們可能會對人類構成威脅。
Suleyman表示，為了確保AI的安全性，需要採取一系列措施，包括加強監管、制定更好的開發準則、以及在可能的情況下限制某些技術的使用。他還呼籲所有擁有大規模算力的公司保持透明，並披露他們所擁有的計算總量。
Inflection AI目前正在使用6000台H100晶片來訓練他們的模型。到2022年12月，他們將擁有22,000個H100全面投入運營。每個月，他們還會增加1000到2000台H100晶片。Suleyman認為，這種大規模的算力將使他們能夠訓練出比GPT-4更大的模型。
與此同時，Suleyman還談到了AI訓練的成本問題。他指出，隨著晶片算力的不斷提高，AI訓練的成本將逐漸下降。然而，訓練一個非常大的模型仍然需要相當高的成本。他估計，訓練一個相當於GPT-4的模型可能需要花費10億美元。
然而，Suleyman強調，這並不意味著每個公司都能負擔得起這樣的成本。他指出，目前只有少數大型科技公司能夠承擔這樣的費用，因為他們擁有龐大的計算資源和財力。
儘管如此，Suleyman仍然認為，未來可能會出現更多的公司開始嘗試訓練更大規模的模型。他表示，隨著晶片算力的不斷增長，訓練這樣規模的模型的成本將逐漸降低。因此，未來可能會有更多的公司開始嘗試開發更大、更強大的AI模型。
GPT-5的秘密訓練、Inflection AI的巨大規模以及AI安全性的問題都是當前人工智慧領域的熱門話題。開源模型可能會增加AI帶給人類的不穩定和危害。而AI安全性最大的威脅來源並不是大語言模型，而是未來可能出現的自主智能體。
在他看來，未來可能會出現更多的公司開始嘗試訓練更大規模的模型。他表示，隨著晶片算力的不斷增長，訓練這樣規模的模型的成本將逐漸降低。因此，未來可能會有更多的公司開始嘗試開發更大、更強大的AI模型。
雖然開源社區中的Llama2或者Falcon等模型只有15億參數或20億參數，但獲得了有1750億參數的GPT-3的參數的能力。開源模型會將這種力量交到每個人的手中，相當於給了每個人一個潛在的大規模不穩定破壞性的工具。而到時候，再想辦法避免這些工具可能產生的破壞性後果，有人做了一個很巧妙的比喻——圖試圖通過用手接住雨水來讓雨停下來。他曾經向監管部門解釋過，AI技術未來會降低很多潛在危險化合物或者武器的開發門檻。
在DeepMind度過的10年里，他花了大量時間試圖將更多的外部監督融入到構建AI技術的過程中。這是一個相當痛苦的過程。雖然他認為谷歌的出發點是好地，但它運作的方式仍然像傳統的官僚機構一樣。當我們設立了谷歌的倫理委員會時，計劃有九名獨立成員，是對於開發敏感技術過程中進行外部監督的重要措施。但因為任命了一個保守派人士，而她過去曾發表過一些有爭議的言論，很多網友就在推特等場合抵制她，同時也抵制其他支持她的幾個成員，要求他們退出委員會。這是一場徹底的悲劇，非常令人沮喪。
其實，當DeepMind被收購時，我們提出了收購的條件，即我們要有一個倫理和安全委員會。我們計劃在倫理和安全委員會之後，我們要將DeepMind打造成一個全球利益公司：一個所有利益相關者在做決策時都能發聲的公司。它是一個按擔保有限責任公司設立的公司。但是當Alphabet看到設立倫理委員會發生的事情時，他們變得膽怯了。他們說：「這完全瘋了。你們的全球利益公司也會發生同樣的事情。為什麼要那樣做？」最終，我們將DeepMind合併進入到了谷歌，從某種程度上說，DeepMind從未獨立過——現在當然也完全從屬於谷歌。
谷歌正在研發下一代AI模型Gemini，劈柴已在I/O大會上宣布。該模型接受過YouTube視頻轉錄數據的訓練，可以生成簡單的視頻。Gemini的參數規模至少為1萬億，使用數以萬計的谷歌TPU晶片進行訓練。與OpenAI類似，Gemini也是一個混合專家模型。除了生成圖像和文本外，Gemini在編碼能力方面也得到了顯著提升。Gemini推出後，計劃逐步將其整合到谷歌產品線中。在Gemini之前，DeepMind還有一個代號為「Goodall」的模型，但GPT-4誕生後，谷歌最後放棄研發。Gemini由至少20多位高管參與研發，DeepMind的創始人Demis Hassabis領導，谷歌創始人Sergey Brin參與研發，還有由數百名員工組成的谷歌DeepMind團隊，其中包括前谷歌大腦主管Jeff Dean等等。Demis Hassabis表示，Gemini將結合AlphaGo類型系統的一些優勢和大型模型驚人的語言能力。
總之，GPT-5的秘密訓練、Inflection AI的巨大規模以及AI安全性的問題都是當前人工智慧領域的熱門話題。隨著技術的不斷發展，人們需要密切關注這些問題，並採取措施確保AI技術的發展對人類社會帶來積極的影響。