原创 | 三言科技
三言科技消息 近日有业内人士透露,某大厂新模型就是 LLaMA 的架构,但是为了表示不一样,把代码里面的名字从LLaMA改成了他们的名字,然后换了几个变量名。
业内人士认为该大厂是李开复旗下的零一万物。
此前,李开复带队创办的AI大模型创业公司零一万物宣布,正式发布首款研发的最强开源人工智能大模型系列——Yi。零一万物近日还完成新一轮融资,估值已超10亿美元。
此次发布的首个公开版本共包括两款:Yi-6B和Yi-34B,其数据参数量分别为60亿和340亿,均支持开源。
在Yi-34B 的 Hugging Face 开源主页上,开发者 ehartford 质疑称该模型使用了Meta LLaMA 的架构,只对两个张量(Tensor)名称进行了修改,分别为 input_layernorm 和 post_attention_layernorm。
机器之心对抄袭一事求证了零一万物,得到回复称:
“GPT 是一个业内公认的成熟架构,LLaMA 在 GPT 上做了总结。零一万物研发大模型的结构设计基于GPT 成熟结构,借鉴了行业顶尖水平的公开成果,同时基于零一万物团队对模型和训练的理解做了大量工作,这是我们首次发布获得优秀结果的地基之一。与此同时,零一万物也在持续探索模型结构层面本质上的突破。”