原創 | 三言科技
三言科技消息 近日有業內人士透露,某大廠新模型就是 LLaMA 的架構,但是為了表示不一樣,把代碼裡面的名字從LLaMA改成了他們的名字,然後換了幾個變量名。
業內人士認為該大廠是李開復旗下的零一萬物。
此前,李開復帶隊創辦的AI大模型創業公司零一萬物宣布,正式發布首款研發的最強開源人工智慧大模型系列——Yi。零一萬物近日還完成新一輪融資,估值已超10億美元。
此次發布的首個公開版本共包括兩款:Yi-6B和Yi-34B,其數據參數量分別為60億和340億,均支持開源。
在Yi-34B 的 Hugging Face 開源主頁上,開發者 ehartford 質疑稱該模型使用了Meta LLaMA 的架構,只對兩個張量(Tensor)名稱進行了修改,分別為 input_layernorm 和 post_attention_layernorm。
機器之心對抄襲一事求證了零一萬物,得到回覆稱:
「GPT 是一個業內公認的成熟架構,LLaMA 在 GPT 上做了總結。零一萬物研發大模型的結構設計基於GPT 成熟結構,借鑑了行業頂尖水平的公開成果,同時基於零一萬物團隊對模型和訓練的理解做了大量工作,這是我們首次發布獲得優秀結果的地基之一。與此同時,零一萬物也在持續探索模型結構層面本質上的突破。」