Meta沒有錯過大模型。
作者 | 李晗 劉楊楠
編輯 | 栗子
「今天，我們一起發起了一場運動。」
2007年5月24日下午3點，在Facebook第一次開發者大會上，年輕的扎克伯格向台下上千名開發者發出一則「革命宣言」。這是扎克伯格第一次在公眾場合上台演講，他在台下把這句開場白練習了無數遍。
當時，Facebook已經從校園走向社會，面向所有網際網路用戶開放，一舉站上社交媒體金字塔尖的寶座。但扎克伯格不滿於此，他開始嘗試觸達計算機世界更高的寶座——作業系統。
Facebook將其開發者大會命名為F8，指代Facebook經常會舉辦的「通宵黑客馬拉松活動」——將工程師們聚在一起，用8個小時完成一個不切實際的想法。同時，F8的英文發音和fate（命運）相似，仿佛暗藏了扎克伯格認為Facebook命中注定將成為時代霸主的野心。
但遺憾的是，決定開發作業系統後的十幾年裡，Facebook定下的大計劃幾乎沒有一次能圓滿完成——社交媒體作業系統折戟；錯過移動網際網路的先機；在元宇宙的一片虛火中全力押注，最終血本無歸。這家曾經的社交媒體巨頭在一次又一次誤判中跌落塵埃。
今天，Meta又找到了「AI」這根救命稻草，並已經開始看到曙光。
7月，Meta發布了2023年Q2季度財報，多項數據超市場預期。財報顯示，Meta在2023年Q2季度中，總營收為320億美元，同比增長11%；Q2季度每股收益為2.98美元，同比增長21%，創2021年四季度以來新高；凈利潤為77.88億美元，同比增長16%。這是Meta自2021年四季度以來，營收增長幅度首次達到兩位數。
但壞消息是，元宇宙給公司帶來的虧損仍在擴大。據財報顯示，元宇宙所在的Reality Labs（現實實驗室）部門，在2023年Q2季度虧損達到37.3億美元，Q1季度虧損額達39.92億美元。 Meta的元宇宙部門已經連續兩年虧損百億美元以上，2022年共計虧損137.17億美元，2021年虧損101.93億美元。Facebook改名Meta之後，已經在元宇宙項目里虧損了約316億美元，股價直接性損失了約三分之二。
Meta也在嘗試將其大模型整合至原先的社交媒體產品矩陣中，但將AI植入社交媒體由此帶來的財務增長或許並不是大模型最好的商業模式。可以說，此時此刻無論巨頭還是創業者，都沒有為大模型找到一個長久且行之有效的商業模式。
那麼，Meta究竟能否憑藉LLaMA重回巔峰？
1.「羊駝熱潮」一場來自Meta的反擊
經過半年發酵，人們對大模型的狂熱終於逐漸冷卻，開始考慮「下一步」該怎麼走。
學術界依然「歲月靜好」，繼續探索如何治好大模型胡說八道的毛病，以及大模型之外，人工智慧還有哪些更值得想像的未來。
而商業世界就是另一番景象了。巨頭們打得面紅耳赤，生怕錯過定義下一個時代的機會；創業者們削尖腦袋，拚命尋找尚未被巨頭占領的處女地，試圖出奇制勝。
但在圍繞大模型的新一輪商業競爭中，Meta作為科技巨頭卻顯得頗為「佛系」。
OpenAI去年11月底發布ChatGPT，但當時的Meta還因元宇宙血虧而身陷裁員陣痛。今年1月，Meta似乎才反應過來，著手訓練更輕巧的語言模型LLaMA。
2月25日，Meta「不小心泄露」了LLaMA模型（英文中，llama譯為「羊駝」）。LLaMA模型有70億、130億、330億和650億四種參數規模，訓練語言高達20種。
在對比測試中，LLaMA模型在僅130億參數規模上，就已經可以「在大多數基準上」勝過參數量高達1750億的GPT-3，且能在單塊V100 GPU上運行；而其650億參數的模型已經可以媲美谷歌的Chinchilla-70B和PaLM-540B。
整個訓練數據集在token化之後大約包含1.4萬億個token。其中，LLaMA-65B和LLaMA-33B是在1.4萬億個token上訓練的，而最小的模型LLaMA-7B是在1萬億個token上訓練的。
LLaMA給出了一條獨立於GPT路線的新思路——更大規模的訓練數據+更精巧的算法能夠降低模型對參數和算力的依賴。
2022年3月，來自DeepMind的Jordan Hoffmann等人在論文《Training Compute-Optimal Large Language Models》中提出「Hoffmann定律」：用20倍於模型參數規模的訓練數據來訓練大模型，效果最好。而LLaMA模型的訓練數據量正好約為參數規模的22倍。
LLaMA的出現已經讓外界對Meta刮目相看。但所有人都沒想到，Meta的大招還在後面。
時隔5個月，7月19日，Meta攜手微軟推出開源大語言模型LLaMA2。發布當天，扎克伯格在Facebook上傳了一張和微軟CEO薩蒂亞·納德拉的合照。照片中二人面帶微笑，甜蜜相擁，背後藍天白雲、綠草茵茵，一派祥和。有網友調侃道：「我想知道OpenAI感覺如何？」
圖片來源：扎克伯格Facebook主頁
Meta還發布了一篇長達76頁的論文，詳細說明了LLaMA2誕生的全過程，包括模型詳細信息、訓練階段、硬體、數據管道和注釋過程。NVIDIA高級人工智慧科學家Jim Fan稱讚這篇論文是「一部傑作」。至少從行動上看，Meta的開源很有誠意。
LLaMA2將「大模型應該開源還是閉源」的爭論推向了高潮。
開源與閉源之爭幾乎伴隨了整個計算機技術的發展歷程。從PC時代的Windows與Linux之爭，到移動網際網路時代，蘋果iOS與谷歌安卓二分天下，每一次開源生態崛起，都會帶來一場市場的重新洗牌。
在美國大模型廠商中，谷歌是閉源陣營，OpenAI前期開源，後期迫於商業壓力也轉向閉源，以API付費的方式向開發者提供服務。
種種跡象表明，Meta發布的開源模型已經開始衝擊閉源玩家。
LLaMA2發布一周內，Meta就收到了超過15萬次的下載請求，開源社區star數量直逼3萬顆，基於LLaMA2微調的模型與插件也如雨後春筍般冒出。
同時，LLaMA2也降低了大模型私有化部署的門檻，很受企業歡迎。LLaMA2構建在Meta自己開發的PyTorch框架上，PyTorch可以大幅減小模型的體積，讓模型變得更輕巧，極大降低了運行大模型的硬體門檻，個人用戶甚至在普通電腦上也可以部署運行LLaMA2。
以上均得益於Meta對模型本身的精巧構思，而比模型設計更「精巧」的，是Meta對開源社區的深刻理解。
Meta聚攏了很多合作夥伴共同向客戶及開發者提供LLaMA2模型，阿里雲、Amazon Sagemaker、Databricks、Microsoft Azure以及IBM的WatsonX都已支持LLaMA2使用，開發人員可以在單個GPU上微調70B的模型，採用成本被大大降低。
最近一項題為 「大型語言模型的挑戰和應用」的研究指出，經過微調的閉源模型和開源模型之間存在能力差距。但藉助LLaMA2，社區可以縮小差距，開發出可與OpenAI的GPT模型相較量的競爭對手。
值得注意的是，Meta給LLaMA2的「免費商用」設置了一個意味深長的限制條件。根據LLaMA2的授權政策，如果企業的月活用戶數超過7億，必須從Meta申請許可證，Meta會對此類授權嚴格設限。
Meta並未明確解釋設置這項政策的實際原因，但從「月活7億「的門檻來看，基本上把現在的巨頭擋在了門外。產品月活超7億的公司有YouTube（25億）、蘋果 （18億）、微軟（14億）、三星（10億）、領英（9億）、Snapchat（7.5億）等，而這些正是Meta的主要競爭對手。
通常意義上，開源和閉源有著明確的「分工」。開源承擔推動技術繁榮的理想與信念；閉源則負責為商業公司構築技術壁壘，謀取更多利潤。但Meta似乎試圖在開源的理想主義和閉源的利益為先之間尋找一個平衡點——一邊高舉開源大旗，繁榮創新；一邊和競爭對手劃清界限。
不得不說，和2021年「All in」元宇宙相比，Meta這次的戰術顯得更加明智。某種程度上，這更像是蟄伏已久的Meta，向所有人發出的一次「反擊」。
一直以來，以社交媒體起家的Meta常被人詬病缺乏科技基因。在今年5月舉辦的「白宮AI峰會」甚至沒有邀請Meta。有記者詢問原因時，一名匿名官員回應道：「目前在該領域處於領先地位的公司，才會收到邀請」。
LLaMA2發布後，Meta和背後的扎克伯格或許終於能揚眉吐氣一回。畢竟，為了這一天，扎克伯格已經帶著公司在AI這條路上跑了10年。
2.Meta AI的十年研究的巨人，產品的矮子
2013年，谷歌、微軟、百度、DeepMind四家公司為一場競拍爭紅了臉。
競拍對象是一家名為DNNResearch的公司，這家公司沒有任何產品，也沒有生產計劃，全公司甚至只有3名員工和幾篇論文。
而這3名員工，就是真正讓大廠們垂涎已久的對象。他們分別是多倫多大學教授Geoffrey Hinton（傑弗里·辛頓）與他的學生Alex Krizhevsky（亞歷克斯·克里澤夫斯基）、llya Sutskever（伊爾亞·蘇茨克維）。
彼時，師徒三人已經是人工智慧領域傳奇版的存在——他們合作設計了卷積神經網絡（CNN）架構AlexNet。AlexNet在LeNet（LeNet-5，最早的卷積神經網絡之一）的基礎上加深了網絡的結構，結合GPU強大性能直接橫掃2012年ImageNet挑戰賽，一舉打破深度學習的寒冬。
最終，谷歌以4400萬美元拿下了DNNResearch。如今回看，這場競拍正是即將到來的深度學習革命的前奏。
錯過傑弗里·辛頓這張王牌後，扎克伯格開始帶領Facebook著手組建自己的AI王牌部隊。他找到了另一位出色的AI夢想家——Yann LeCun（楊立昆）。
上世紀80年代，Yann LeCun就創造了卷積神經網絡，被譽為「卷積神經網絡之父」。上文所說的AlexNet，便是在他的研究成果LeNet之上發展而來。
2013年10月，扎克伯格親自給Yann LeCun打了一通電話：「我們公司已經走過了十年，需要考慮下一個十年。我們認為人工智慧將會扮演一個非常重要的角色。」他誠摯邀請Yann LeCun幫助Facebook建立一個世界頂級的人工智慧實驗室。
Yann LeCun同樣提出了很多要求——實驗室必須獨立開放，研究成果完全開源，他本人要繼續在紐約大學任教等等。二人一拍即合，Facebook入局AI已是箭在弦上。
2013年末，由Yann LeCun主導的FAIR實驗室（Facebook's Artificial Intelligence Research）宣告成立。
Yann LeCun一直提倡產學合作制度，這也讓FAIR有著濃厚的學術氛圍。根據實驗室華人成員田淵棟介紹，FAIR實驗室目標就是發高質量文章、做有力的前沿工作，且研究氛圍非常自由，沒有產品壓力。自由包容的研究氛圍也為FAIR吸引了大量的學術大牛，諸如何愷明、田淵棟、Edward Grefenstette等。
之後幾年，Yann LeCun攜手一眾學者將FAIR打造成與DeepMind、OpenAI齊名的全球頂尖AI實驗室。
FAIR將相當一部分研究精力都集中於攻克推理、預測、計劃、無監督學習等基礎問題，開發了諸如深度學習框架PyTorch、深度卷積生成對抗網絡（DCGANs）等技術工具。
以深度學習框架為例，2017年，FAIR實驗室陸續開發學習框架PyTorch、Caffe2，一舉打破了谷歌在框架領域稱王的局面。僅在發布一年後，PyTorch的論文提及數量猛增194%，份額直逼TensorFlow 。
此外，FAIR也始終保持著開放的態度，堅持對外發布前沿的研究成果，並儘可能地對外開源研究代碼、數據集和工具。據Hugging Face創始人Clement Delangue介紹，截至2023年8月，在Hugging Face上，Meta共有689個存儲庫，相比之下，谷歌有591個，微軟只有252個。
可以說，Meta是目前為止開源數量貢獻最多的科技大廠。
「Facebook在FAIR之前沒有任何研究實驗室，這是第一個，在那之前，該公司非常專注於短期工程項目，期限為6個月，甚至更短，」Yann LeCun曾回憶道。
「在Facebook的頭五年里，我對創建研究實驗室說『不』，」首席技術官Mike Schroepfer在Facebook的一篇帖子中寫道。「2013年，人們發現人工智慧對於 Facebook的長期未來至關重要，所以我們必須想辦法解決這個問題。」
成立五年後，FAIR的影響力已滲透到整個公司。該小組在門洛帕克、紐約、巴黎、蒙特婁、特拉維夫、西雅圖、匹茲堡和倫敦設有實驗室。他們與學術機構合作，發表了無數論文和研究，該小組在五周年時間表中列舉了其中的許多內容。
然而，儘管FAIR給Facebook在AI學術領域帶來無數高光時刻，但在如何把AI變成產品的問題上，Facebook卻鬧了不少笑話。
Facebook改名Meta後，也發布過類似的聊天機器人BlenderBot3（簡稱「BB3」）。當有記者向BB3提問：「你如何看馬克·扎克伯格這個人？」BB3毫不猶豫地回答：「他在國會作證時的表現太差了，讓我對美國的未來感到擔憂。」 「我不喜歡他，他好詭異，並且控制欲很強。」「他冷漠無情。」
這些狂踩老闆的發言，吸引了大量網友紛紛湧向BB3一探究竟。但很多人發現，BB3不僅喜歡狂踩自己老闆，還會一本正經地胡說八道，並不時生成諸如反猶主義、種族歧視等偏見。
最終，被寄予厚望的BB3不僅沒有強化Meta的 「科技」標籤，反而深化了其煽動仇恨的惡名。相似的尷尬在2022年11月再次上演，定位在「科研助手」的大模型卡拉狄加（Galactica），卻意外成了「科學造假髮動機」，在發布僅3天後便匆忙下架。
至此，Meta在AI產品上的兩次嘗試均以失敗告終。「如何將AI變成產品」，成為全公司共同的待解命題。
Facebook在AI產品上的失敗，很大程度上來源於FAIR類似學術研究的項目驅動模式。研究人員推進各自議程、追求獨立的項目，這給了研究人員很高的自由度，但並不利於制定一個有凝聚力的全公司戰略。
這種模式也讓Meta內部資源分配過於分散，不夠聚焦。Facebook會給每個項目劃分獨立的硬體資源池，但並非每個項目研究都能完全消耗分配到的晶片，一旦有所剩餘，研究人員為保證項目組得到充分的算力資源，就會將多餘的晶片投入一些並不重要的研究中。
長此以往，劣幣驅逐良幣，最終結果只能由整個Meta來買單。
反覆出醜的AI產品，不斷消耗公眾的熱情。BB3發布時，還有公眾認為「Meta內部有更好的AI，但選擇發布一個糟糕的聊天機器人」。但當大模型卡拉狄加（Galactica）發布後，用戶已經攢夠了失望，「Meta只能發布一個糟糕的AI」似乎成為了一種共識。
更致命的是，對Meta產生懷疑的不只是用戶。在今年4月末的內部調查中，只有26%的Meta受訪員工表示仍對公司的領導層充滿信心。而已經失去信心的人，也選擇了「用腳投票」。據《華爾街日報》報道，去年Meta至少有三分之一曾參與LLaMA、OPT項目的研究人員因筋疲力盡或對Meta缺乏信心而流失。
公眾則延續了對Facebook的嚴厲審判，沒有人想為一個侵犯隱私、散播偏見的社交巨頭，買單另一個喜歡胡說八道的語言模型。
不過，儘管Meta已經陷入內憂外患的境地，但Meta依然沒有離場。Meta斥巨額資金押注AI，接連發布SAM、LLaMA2，Meta正在用自己的方式，重回人工智慧的賽道。
跳出Meta本身回看這段歷程，一個樸素的問題浮出水面：社交媒體起家的Meta為什麼要「死磕」AI？
事實上，從Facebook到Meta，這家公司的一舉一動都和扎克伯格的思想動態深度綁定。因此，要研究這家公司做一件事的動機，最終還是要在扎克伯格本人身上尋找答案。
3.野心家扎克伯格的三次「誤判」
扎克伯格是一個不折不扣的野心家。自始至終，他都夢想能創造一個完全平行於現實的虛擬世界。只是，扎克伯格定下的每一個「小目標」，幾乎都沒能圓滿完成。
2004年，扎克伯格帶著「連接世界」的夢想，創辦Facebook。Facebook團隊陸續創造了動態訊息（News Feed）、點贊（Like）等功能，成功吸引了更多用戶，將Facebook從校園應用轉變為開放應用。
不過，規模增長遠不是扎克伯格真正的野心——他想打造一個專屬於Facebook的作業系統（平台）。
扎克伯格開始將Facebook想像成與Windows相當的社交網絡作業系統，像微軟擁有桌面世界一樣，Facebook將擁有社交世界，成為唯一一家掌握社交圖譜全貌的公司。
很快，扎克伯格醉心於平台的研發中，努力尋找各類創業者開發應用。Facebook甚至舉辦了一場黑客馬拉松，邀請開發者發揮自己的奇思妙想。不久後，音樂、遊戲、互動等各類應用接連上線，成千上萬的開發者湧向Facebook，準備開啟新一輪「淘金熱」。
但此時，移動化浪潮來襲，讓扎克伯格亂了陣腳。
當扎克伯格帶領團隊埋頭打造開發者平台時，喬布斯正將世界帶入「iPhone時刻」。眼看著人們使用桌面電腦的時間越來越少，一直痴迷於在PC端建立開發者平台的扎克伯格幡然醒悟——Facebook賴以生存的PC系統將很快被顛覆。
似乎一夜之間，Facebook這家社交媒體時代的「變革者」，搖身變成了移動網際網路時代的「跟隨者」，他們要重新學習移動時代的新規則。
移動平台不像桌面電腦，它不是直接將內容分發給用戶，而是在由蘋果或谷歌這類硬體設計廠商運營的應用商店中上架。想要上架，就要遵守對方的規則，這對一個想要掌控未來的野心家而言，顯然是不情願的。但此時的Facebook已經無心思考了，範式更迭中，生存才是最重要的。
在接下來的幾個月里，扎克伯格重新學習移動生態經濟學，Facebook團隊則針對iOS、安卓系統重新開發原生應用。直到2012年3月，Facebook移動生態才終於穩定下來。
但扎克伯格不滿於僅在上層應用做些「皮毛」工作。錯過PC時代的扎克伯格開始卯足力氣，想和移動網際網路時代的軟硬體巨頭谷歌、蘋果搏一搏，打造自己的手機並開發配套的手機作業系統。
扎克伯格快速行動，與同樣錯失移動浪潮的晶片公司英特爾（蘋果和安卓都選擇了其競爭對手的晶片）合作開發了一款Facebook手機。這部手機配備時尚的曲面屏，甚至已經有了一部樣機。
但隨著預定日期臨近，Facebook愈加發現這筆生意不划算：Facebook沒有硬體生產的相關經驗，而製作一個作業系統又需要高額的資金投入。加上此時的移動生態已經由兩大平台——谷歌的安卓與蘋果的iOS系統所把持，Facebook的掙扎可能不會激起什麼水花。
至此，扎克伯格只好擱置自己的野心，重新踏上尋找未來的征途。
2014年，扎克伯格尋找到一個新的可能性：虛擬現實。
儘管這時距離扎克伯格認為的「瀕死體驗」僅僅過去兩年，但他還是覺得Facebook想要擁有未來，就需要為下一次範式轉變做好準備。
在多次會見虛擬現實頭顯製造商Oculus後，扎克伯格更加篤定地認為：「虛擬現實是下一代平台，錯過這個機會就像錯過移動網際網路一樣。」 終於，在2014年7月，扎克伯格以20億美元的價格收購了這家初創公司，正式開啟了虛擬現實之路。
扎克伯格一直對虛擬現實的未來充滿信心。在他的設想中，Oculus將在21世紀30年代成為主導平台，所有的平台都將置於更為緊密的控制之下。在2017年Oculus開發者大會的主題演講中，扎克伯格就設立了「10億人使用虛擬現實產品」的目標。而對當時Oculus的高管來說，這是他們直到彩排才知道的預測數字。
扎克伯格在虛擬現實領域持續投入，也在尋找一個適當的機會向前突破，將它帶到公眾面前。 2021年，扎克伯格找到了自認為對的時機。
2021年，隨著遊戲平台Roblox以「元宇宙第一股」的概念上市，元宇宙迅速引爆資本市場。隨後遊戲開發公司英佩估值快速上升、元宇宙ETF基金上線，全世界掀起了一股元宇宙風潮。
火熱的元宇宙讓扎克伯格看到了虛擬現實的可落地性，加上此時TikiTok對Facebook社交媒體份額的蠶食，2021年10月，Facebook改名Meta，正式押注元宇宙。
這一次，扎克伯格終於先人一步。可惜的是，扎克伯格並沒有找準時機。
從押注元宇宙開始，Meta就將FAIR實驗室併入元宇宙核心部門Reality Labs，並加大人員擴充。據The Verge報道顯示，Reality Labs在一年時間裡增長了約7000名員工，總員工已超過17000人，已經占整個公司的五分之一。在資金上，Meta也在繼續加碼，2021年Meta全年在Oculus上的投資超過100億美元，2022年這一數額上升至158.8億美元。
然而，龐大的資金、精力、人員投入並沒有獲得相等的回報。截止2022年2月，Meta開發的元宇宙社交平台Horizon Worlds，只有30萬左右的用戶量。從Meta發布的財報來看，Reality Labs在一年半內虧損達210多億美元，Meta股價更暴跌了近60%。
轉型受挫的Meta急需回血，儘管扎克伯格依舊為元宇宙熱情辯護，但現實的資金壓力還是讓扎克伯格調轉方向，回到現實軌道的中來。
正巧的是，2022年11月，OpenAI發布ChatGPT，帶來一場愈演愈烈的生成式AI熱潮。
比起大力投注元宇宙，利用人工智慧曲線救國，顯然更加現實。在衡量公司狀況、發展前景等多方狀況下，扎克伯格選擇及時止損，開啟「效率年」，將目光投向生成式AI。
扎克伯格他率先從元宇宙項目著手，叫停了VR設備生產並停止為Quest Pro訂購新的零部件。另外，扎克伯格繼續嚴控成本，削減中層管理人員和一些表現不佳項目。自去年11月裁掉1.1萬員工之後，很快，Meta又宣布了第二輪裁員。
在一系列調整後，Meta繼續加註生成式AI。據Meta財務長Susan Li 介紹，Meta在2023年會斥資330億美元來支持「人工智慧能力的持續建設」，研究成果也將會被集成到Meta產品中來。
目前，Meta已經在嘗試將大模型集成到原有產品上。隨著AI推薦加入社交產品中，用戶在Instagram上花費的時間增加了24%，Instagram的季度增幅超過30%，Meta2023年第二季度總營收同比增長11%，數額達320億美元。這也是Meta自2021年四季度以來，營收漲幅首次達到兩位數。
但更嚴峻也更現實的問題是，Meta緩慢增長的營收，還能否支撐得起大模型混戰後續所需要的巨額投入？顯然，現在不是回答這個問題的最佳時機。畢竟，在「如何用大模型賺到錢」這件事上，所有人都還在摸著石頭過河。
至少目前為止，在扎克伯格「連接世界」的野心之下，AI是唯一一個看到回報，並有望讓Meta在商業的叢林世界中重新站起來的計劃。
2017年，扎克伯格回到哈佛，進行畢業典禮演講。他說：「讓我告訴你們一個秘密，『沒有人一開始就知道（Facebook）該怎麼做，想法不會在最初就完全成型。只有當你開始行動時，事情的脈絡才會逐漸清晰，你只需要開始行動。如果從一開始我就要完全弄明白『如何連接人』，我永遠做不出Facebook。」
儘管現在依然沒人能看到這輪大模型混戰的終局，但已經對時代浪潮誤判三次的扎克伯格或許可以鬆一口氣——Meta終於沒有錯過大模型。
（封面圖來源：電影《社交網絡》）
END.