作者 | 月山橘
編輯 | 張潔
校對 | 捲毛
*今日頭圖使用Midjourney創作,關鍵詞「A boy is sitting on gaint books in a room, there are many test papers flying in the air, anmie style, 8K, --ar 16:9」
高考臨近,又到高考作文押題的賽點了!
最近,B站UP主「圖靈的貓」用AI預測出了2023年高考作文的七大命題方向,對應高考的七套考卷。
用AI押題,聽上去不太靠譜,但這已經不是這位UP主第一次用AI預測高考作文題了。
去年5月,他用AI預測2022年高考作文題,命中了全國乙卷、新高考II卷、北京卷II和浙江卷!
在他上個月發起的投票中,有超7成的參與者支持他繼續預測2023年的高考作文。
當然,押中與否是個機率問題,不見得百發百中。不過,用AI押題這件事是怎麼實現的?需要花費多少時間和成本?帶著這些問題,我們和「圖靈的貓」聊了聊。
AI是如何預測高考作文題的?
作為擁有90萬粉絲的B站科技區UP主,「圖靈的貓」很擅長用技術「整活」,做一些有趣的開發實踐。
比如讓AI預測高考作文題、訓練一個反詐AI跟騙子聊天、開發一個自動寫小說的免費網站等等,這些視頻都收錄在他名為「圖靈計劃」的合集裡。
截至發稿前,他讓AI預測2022年和2023年高考作文題的兩條視頻,分別獲得了275萬和36.3萬的播放量。
以今年這條題為《爬遍全網數據,我又用AI預測了2023年高考作文題》的視頻為例,「圖靈的貓」在視頻中介紹了讓AI預測高考作文題的原理和過程,並給出了AI的預測結果。
一共七大命題方向,每個命題方向包括三部分:核心詞、預測主題、模型表征。
對應到高考作文,可以理解為中心思想、文章主題、與主題相關的描述或關鍵詞。
話不多說,我們先來看看今年他用AI押題的最終結果:
AI預測的2023年高考作文題
那讓AI預測高考作文題的原理是什麼呢?
首先要從高考作文的本質出發。在「圖靈的貓」看來,高考作文本質上是對考生價值觀、人生觀和家國意識的引導。
深諳此道的高考作文命題組,會從官媒文章、國家政策、政府指導意見和工作報告中,尋找規律和命題靈感。
而規律挖掘和數據分析,正是AI所擅長的。獲取的數據越多,分布越合理,AI就越能夠準確地預測。過程沒有感情,全是技巧。
基於以上原理和思考,「圖靈的貓」專門寫了一套爬蟲,爬取了近一年上千篇人民日報、央視新聞等官媒發表的文章,政府指導意見和工作報告。
然後把它們保存到本地,形成一個個文檔,再通過自然語言處理中的預訓練模型和主題建模,對這些文檔進行理解和歸納,分為文化、教育、科研、國防、外交等主題,每個主題提取出一些具有代表性的關鍵詞,比如說科研主題下的「神十三」。
考慮到近來AI技術的疊代,相比於去年的預測,今年略有不同的是,他引入了ChatGPT作為輔助,更加智能地給出選題建議。
但由於ChatGPT的訓練數據,絕大多數來自英文網際網路,對中文語境下的文本理解存在一些偏差。再加上聯網版的GPT模型,比如NewBing、GPT-4的插件等,都有調用接口限制,一般只能記住幾千個token或漢字。
如果直接用它們進行預測,得出的預測結果,往往都是基於搜尋引擎前幾條的人為預測結果,而不是真的基於大數據的AI預測。
想要分析上千篇人民日報,如此大量的文本,需要一個不限制文本輸入長度的模型,因此往往只能部署在本地,但這與ChatGPT並不衝突。
他的做法是,使用本地模型完成第一輪主題歸納,然後將簡化的信息輸入ChatGPT,基於ChatGPT強大的泛化能力,判斷和預估不同主題和關鍵詞被選中的機率,起到類似命題指導組的作用。
而在花費的時間和成本上,圖靈的貓表示,去年由於是從0到1開發預測模型、爬數據,所以耗時很久,但今年用時縮短很多。每個環節的耗時比例大概是:60%的時間抓取數據,30%的時間用AI進行主題建模,然後剩下10%的時間人工對內容進行規整。
他告訴我們:「目前ChatGPT二十多萬次的API調用,大概只要十幾美元,再加上已經在本地對信息進行了處理和壓縮,所以總體消耗的token數量少很多,最終花費的成本並不高。」
AI押題,水平如何?
2023年高考作文預測結果的準確性,要等到幾天後才能見分曉。
「圖靈的貓」還發動態提醒大家:「高考完別忘了來看看準確率」。
我們回顧了UP主2022年的預測與高考真題,兩者雖然並不完全一致,但AI確實踩中不少要點。
比如,在2022年全國新高考II卷中,要求以「選擇·創造·未來」為題寫作,參考材料中提到了科學攻關、北斗導航系統,並傳達出民族自主自強的精神。
2022年全國新高考II卷 作文題
而在AI給出的命題方向中,有一個以「探索、夢想」為核心詞,預測主題正是「科技發展、探索精神、自主自強」。真題材料中提到的「北斗」,也出現在模型表征中。
除此之外,全國乙卷、北京卷II和浙江卷的作文真題,也與AI預測的命題方向不謀而合。
一部分網友驚嘆:「高考命題組可以考慮一下反預測命題算法了」,還有人希望UP主預測一下中考題、四六級、考研題、考公題。
但由於這些考試的出題標準過於離散,沒有統一的命題規律和命題流程,各省市乃至學校之間都有很大不同,「圖靈的貓」認為預測意義不大。
也有一部分網友表示質疑:
UP硬核「精準預測」的這些關鍵詞,哪個高三生耳朵沒聽出繭?
這些核心詞和主題都是過去一年的熱點,不用AI,我也能押。
AI可以窮舉,但重點劃得太多,相當於沒有重點。
還有網友從教育公平的原則出發,認為很多地方的考生不了解網際網路及其衍生的文化,AI預測的「流浪地球」「孔乙己」「網際網路文學」等,高考作文顯然不會考。
還有考生表示,這些預測結果基本都在自己的語文老師押題範圍之內,有些甚至已經在模擬考中遇到過了。看AI預測,頗有「聽君一席話,如聽一席話」的意味。
再加上命題組不按常理出牌也是常有的事,所以AI預測的意義或許並沒有想像中大。
對此,圖靈的貓認為,AI預測和人類預測在本質上並無差別,都是基於經驗模型進行的,只能說是給學生備考提供一些方向。而圍繞主題進行擴展寫作,依然是對寫作能力、文字功底、價值觀等的考驗,押題並沒有多少短時間提分的奇效。
不過,如果真的能再次精準押中,那麼高考命題組的老師們未來可能要進一步大開腦洞了。