史丹福2023 AI Index回顧十年進展:大模型作者一半來自美國機構、中國期刊論文領先

2023-04-10     CDA數據分析師

原標題:史丹福2023 AI Index回顧十年進展:大模型作者一半來自美國機構、中國期刊論文領先

本文轉自公眾號:機器之心

該報告從八個方面展開:研究與開發、技術性能、AI技術倫理、經濟、教育、政策和治理、多樣性以及輿論。

該報告從八個方面展開:研究與開發、技術性能、AI技術倫理、經濟、教育、政策和治理、多樣性以及輿論。

在人工智慧領域,由史丹福大學發起的人工智慧指數(AI Index)是一個追蹤 AI 動態和進展的非營利性項目,旨在全面研究 AI 行業狀況,促進基於數據的 AI 廣泛交流和有效對話。

現在,2023 AI Index 年度報告新鮮出爐。

報告地址:https://aiindex.stanford.edu/wp-content/uploads/2023/04/HAI_AI-Index_Report_2023.pdf

AI Index 表明 AI 世界正在進入一個新的發展階段。在過去的一年裡,大量 AI 工具已經成為主流,從 ChatGPT 等聊天機器人到 Midjourney 等圖像生成軟體。但是關於如何部署這項技術以及如何平衡風險和機會的決定權牢牢掌握在企業參與者手中。AI Index 還指出,多年來,學術界在開發最先進的 AI 系統方面處於領先地位,但現在工業界已經牢牢接管。

AI Index 共分為八章,下面我們看看報告的主要內容。

1. 研究與開發

本章主要介紹 AI 研發趨勢。分為 AI 出版物,包括期刊文章、會議論文和存儲庫,然後介紹大型語言模型和多模態模型等。

圖 1.1.1 展示了全球 AI 出版物的數量:從 2010 年到 2021 年,總數量翻了一番多,數據顯示從 2010 年的 20 萬增長到 2021 年的近 50 萬。

按照專業方向來分,圖 1.1.3 表明模式識別和機器學習方面的出版物在過去五年中增長最快。自 2015 年以來,模式識別方面的論文數量大約翻了一番,而機器學習論文的數量大約翻了兩番。

跨國合作:圖 1.1.6 和 1.1.7 描述了 2010 年至 2021 年最大規模的跨國 AI 合作。結果表明,過去 12 年中中美合作次數最多,自 2010 年以來增長了大約四倍。然而,從 2020 年到 2021 年,中美合作總數僅增長了 2.1%。2021 年,美國和中國之間的合作數量是英國和中國的 2.5 倍。

AI 期刊論文的發表數量,中國始終保持領先地位,2021 年為 39.8%,其次是歐盟和英國(15.1%),然後是美國(10.0%)。

被引次數:自 2010 年以來,中國在 AI 期刊出版物中的引用份額逐漸增加,而歐盟和英國以及美國的引用份額則有所下降 (圖 1.1.12)。

AI 會議出版物:AI 出版物數量在 2019 年達到峰值 (圖 1.1.13)。2021 年 AI 會議的出版物總數為 85094 篇,略高於 2010 年的 75592 篇。

2021 年,中國在全球 AI 會議出版物中所占份額最大,為 26.2%,2017 年開始超過歐盟和英國,美國以 17.2% 排在第三位 (圖 1.1.15)。

模型參數趨勢( 按照學術、工業等劃分 ):參數是模型在訓練過程中學習到的數值。隨著時間的推移,參數的數量一直在穩步增加,自 2010 年以來,這一增長變得尤為明顯。

過去五年里,重要的人工智慧機器學習系統使用的計算量呈指數級增長(圖 1.2.11):

自 2010 年以來,在所有機器學習系統中,語言模型需要最多的計算資源:

下圖是對大型語言模型和多模態模型作者的國家從屬關係進行了分析,這些研究人員主要來自美國機構 (54.2%)(圖 1.2.13)。

圖 1.2.14 提供了自 GPT-2 以來發布的大型語言模型和多模態模型的時間線視圖,以及發布這些模型的研究人員的國家隸屬關係。

隨著時間的推移,新發布的大語言和多模態模型的參數數量大幅增加。例如,2019 年發布的第一個大型語言和多模態模型 GPT-2 只有 15 億參數。谷歌在 2022 年發布的 PaLM 有 5400 億,是 GPT-2 的近 360 倍。在大語言和多模態模型中,參數的中位數隨時間呈指數增長 (圖 1.2.15)。

此外,大型語言和多模態模型的訓練計算量也在穩步增加(圖 1.2.16):

AI Index 研究團隊對訓練成本進行了估算 (圖 1.2.17)。這些估計是基於模型作者披露的硬體和訓練時間完成的。例如 GPT-2 於 2019 年發布,被認為是第一個大型語言模型,擁有 15 億個參數,估計需要 50,000 美元的訓練費用。僅僅三年後,PaLM 推出了 5400 億個參數,估計耗資 800 萬美元。不僅僅是 PaLM:從整體上看,大型語言和多模態模型正變得越來越大、越來越昂貴。

2. 技術性能

本章總結了計算機視覺、語言、語音、強化學習和硬體方面的進展。

圖像分類:截至 2022 年,ImageNet 數據集上的 top-1 準確率已經達到 91.0%:

人臉檢測與識別:許多模型在面部識別系統準確率接近 100%,即使是在具有挑戰性的數據集上:

語言:在 SuperGLUE 基準上,模型拿到 91.3 ,比人類基線高出 1.5 個百分點:

模型在文本摘要上的表現:

此外,達到基準飽和的速度正在增加。然而,新的、更全面的基準測試套件,如 BIG-bench 和 HELM 正在發布。

在提交給 MLPerf 的硬體系統使用的加速器數量的數據表明,更強的硬體正在為減少訓練時間提供動力 (圖 2.7.2):

圖 2.7.7 展示了從 2003 年到 2022 年發布的不同 GPU 的 FP32 性能。FLOP/s 越高,硬體越好。圖 2.7.8 顯示了按發布日期劃分的新 GPU 單項性能中值,該值逐年上升。

3. 關於倫理方面的研究

機器學習中的公平、偏見和道德仍然是研究人員和從業者感興趣的話題。隨著創建和部署生成式人工智慧系統的技術門檻大幅降低,圍繞人工智慧的道德問題也變得更加明顯。

根據追蹤人工智慧道德濫用相關事件的 AIAAIC 資料庫,從 2012 年開始,人工智慧事件和爭議的數量增加了 26 倍。這種增長既證明了對人工智慧技術的更多使用,也證明了對濫用可能性的認識。

對這部分內容感興趣的讀者可以參考原報告。

4. 經濟

AI 系統技術能力的提高使得企業、政府和其他組織的人工智慧部署率更高。人工智慧與經濟的高度融合既令人興奮又令人擔憂。本章使用來自 Lightcast、LinkedIn、McKinsey、Deloitte 和 NetBase Quid 以及國際機器人聯合會 (IFR) 的數據來研究與 AI 相關的經濟趨勢。

圖 4.1.1 顯示了在一些職位中,需要某種 AI 技能的百分比。在 2022 年,按照這一指標排名前三的國家是美國 (2.1%)、加拿大 (1.5%) 和西班牙 (1.3%)。

圖 4.1.2 展示了自 2010 年以來美國勞動力市場最受歡迎的 AI 技能集群。最受歡迎的技能集群是機器學習 (1.0%),其次是人工智慧 (0.6%) 和自然語言處理 (0.2%)。

圖 4.1.3 和 4.1.4 展示了與 2010-20122 年相比,2022 年 AI 職位發布所需的十大專業技能。就絕對水平而言,與十年前相比,現在對幾乎所有專業技能的需求都更大。對 Python 的需求增長尤為顯著,這證明它作為一種 AI 編碼語言越來越受歡迎。

5. 教育

人工智慧專業越來越多。美國大學計算機科學類博士畢業生中 AI 專業的比例從 2010 年的 10.2% 到 2020 年的 14.9% 躍升至 2021 年的 19.1%。

AI 博士畢業生越來越多地前往業界工作。2011 年,AI 博士畢業生在學界 (41.6%) 與業界 (40.9%) 的就業比例大致相同。之後,大多數 AI 博士畢業生都進入業界工作。2021 年,65.4% 的 AI 博士在業界就業,是在學界就業的 28.2% 的兩倍還多。

北美 CS、CE 和信息系新聘用教職員工的比例基本持平。

具體來說,過去十年,北美計算機科學 (CS)、計算機工程 (CE) 和信息系新聘用的教職員工總數目有所下降:2021 年的聘用總數為 710 人,而 2012 年為 733 人。同樣, tenure-track 招聘人數在 2019 年達到頂峰,為 422 人,然後在 2021 年降至 324 人。

美國私立和公立教育機構計算機科學系在外部研究資金方面的差距繼續擴大。2011 年,美國私立和公立 CS 系用於計算研究的外部資源總支出的中位數大致相同。從那以後,差距越來越大,私立計算機科學系獲得的額外資金比公立大學多出數百萬美元。2021 年,私立大學的支出中位數為 970 萬美元,而公立大學的支出中位數為 570 萬美元。

美國和世界其他地區對 K-12 人工智慧和計算機科學教育的興趣都在增長。2021 年,美國學生共參加了 181040 次 AP 計算機科學考試,比上年增長 1.0%。2021 年 AP 計算機科學考試的數量增加至 2007 年的九倍。

截至 2021 年,包括比利時、中國和韓國在內的 11 個國家 / 地區已正式認可並實施 K-12 AI 課程。

6. 政策與治理

政策制定者對人工智慧的興趣正在上升。AI Index 對 127 個國家 / 地區的立法記錄進行了分析統計,通過並成為法律的人工智慧相關法案數量從 2016 年的 1 項增加到 2022 年的 37 項。

對 81 個國家 / 地區關於 AI 的議會記錄的分析同樣顯示,自 2016 年以來,全球立法程序中提及 AI 的次數增加至原來的 6.5 倍。

美國通過了比以往更多的人工智慧法案。2021 年,美國所有聯邦 AI 法案中只有 2% 通過成為法律。這一數字在 2022 年躍升至 10%。類似地,2022 年所有州級 AI 法案中有 35% 獲得通過成為法律。

此外,自 2017 年以來,美國政府與人工智慧相關的合同(Contract)支出增長至原來的 2.5 倍。

法律界審理了更多人工智慧相關案件。2022 年,美國各州和聯邦法院審理了 110 起與人工智慧相關的法律案件,大約是 2016 年的 7 倍。

這些案件大部分發生在加利福尼亞州、伊利諾州和紐約州,涉及民事法、智慧財產權法、合同法。

7. 多樣性

北美計算機科學專業的學士、碩士和博士生的種族越來越多樣化。儘管白人學生仍然占多數,但其他種族的學生也越來越多,包括亞裔、西班牙裔、黑人或非裔美國人。例如 2011 年,71.9% 的 CS 學士畢業生是白人。到 2021 年,這一數字下降到 46.7%。

在性別比例方面,AI 博士仍然絕大多數是男性。2021 年,78.7% 的 AI 博士畢業生是男性。只有 21.3% 是女性,比 2011 年增加了 3.2 個百分點。人工智慧高等教育仍然存在性別失衡。

女性在 CS、CE 和信息系教職員工中所占比例越來越大。自 2017 年以來,新招聘的 CS、CE 和信息系女教師的比例從 24.9% 增加到 30.2%。儘管如此,北美大學中的大多數 CS、CE 和信息系教師都是男性 (75.9%)。

值得一提的是,美國 K-12 計算機科學教育在性別和種族方面變得更加多樣化。女性學生參加 AP 計算機科學考試的比例從 2007 年的 16.8% 增加到 2021 年的 30.6%。

與上一年同期相比,亞裔、西班牙裔、拉丁裔等種族的學生參加 AP 計算機科學考試的比例也有所增加。

8. 輿論

AI Index 借用 2022 IPSOS 的調查數據,分析了人們對人工智慧產品和服務的看法。

中國人是對人工智慧產品和服務看法最積極的人群之一。在 2022 年的 IPSOS 調查中,78% 的中國受訪者( 在接受調查的國家/地區中比例最高)同意使用人工智慧產品和服務利大於弊的觀點。其次,來自沙烏地阿拉伯(76%)和印度(71%)的受訪者對人工智慧產品的看法比較積極。而美國受訪者中只有 35% ( 在接受調查的國家/地區中比例最低)的人同意使用 AI 產品和服務利大於弊的觀點。

另外,男性往往比女性對人工智慧產品和服務的看法更積極。

值得注意的是,近期有幾個大模型爆火的自然語言處理處理領(NLP)域,大多數研究者都認為 NLP 領域存在一些普遍問題。

感興趣的讀者可以參考 2023 AI Index 原文,了解更多報告細節。

文章來源: https://twgreatdaily.com/zh-cn/ea20bec2db29959ea276ea96e5aad218.html