基於LLaMA卻改張量名，李開複公司大模型引爭議，官方回應來了

原文來源：機器之心

圖片來源：由無界 AI生成

有研究者發現，李開複「零一萬物」公司的 Yi-34B 模型基本上採用了 LLaMA 的架構，只是重命名了兩個張量。 對此，「零一萬物」給出了官方回應。

前段時間，開源大模型領域迎來了一個新的模型 —— 上下文視窗大小突破 200k，能一次處理 40 萬漢字的「Yi」。

這個大模型由創新工廠董事長兼 CE0 李開複創立的大模型公司「零一萬物」構建，包括了 Yi-6B 和 Yi-34B 兩個版本。

根據 Hugging Face 英文開源社區平臺和 C- 中文評測榜單，Yi-34B 推出時取得了多項 SOTA 國際最佳性能指標認可，成為全球開源大模型「雙料冠軍」，擊敗了 LLaMA2 和 Falcon 等開源競品。

Yi-34B 也成為當時唯一成功登頂 Hugging Face 全球開源模型排行榜的國產模型，稱「全球最強開源模型」。

但最近，有研究者發現，Yi-34B 模型基本上採用了 LLaMA 的架構，只是重命名了兩個張量。

原貼連結：

帖子還指出：

Yi-34B 的代碼實際上是對 LLaMA 代碼的一次重構，但看似並未作出任何實質性改變。 這個模型明顯是基於原始 Apache 2.0 版的 LLaMA 檔進行的編輯，但卻未提及 LLaMA：

Yi vs LLaMA 代碼對比。 代碼連結：

此外，這些代碼更改並沒有通過 Pull Request 的方式提交到 transformers 專案中，而是以外部代碼的形式附加上去，這可能存在安全風險或不被框架所支援。 HuggingFace 排行榜甚至不會對這個上下文視窗最高可達 200K 的模型進行基準測試，因為它沒有自定義代碼策略。

他們聲稱這是 32K 模型，但它被配置為 4K 模型，沒有 RoPE 伸縮配置，也沒有解釋如何伸縮（注：零一萬物之前表示模型本身在 4K 的序列上進行訓練，但是在推理階段可以擴展到 32K）。 目前，關於其微調數據的資訊為零。 他們也沒有提供複現他們的基準測試的說明，包括可疑的MMLU高分。

任何一個在 AI 領域工作過一段時間的人都不會對此視而不見。 這是虛假宣傳？違反許可證規定？實際基準作弊？誰在乎呢？換下一篇論文，或者在這種情況下，拿走所有風險投資的錢。 Yi 至少高於標準，因為它是基礎模型，而且性能確實不錯。

而在數天前，在零一萬物 Huggingface 社區中，有開發者同樣指出：

據我們瞭解，除了兩個張量被重命名之外，Yi 完全使用了 LLaMA 的架構。 (input_layernorm, post_attention_layernorm)

討論中，有網友表示：如果他們確切使用 Meta LLaMA 架構、代碼庫和所有相關資源，則需要遵守 LLaMA 規定的許可協定。

為了符合 LLaMA 的開源協定，有位開發者將其名字改回並重新放到了 huggingface 上：

01-ai/Yi-34B，張量已重命名以匹配標準 LLaMA 模型代碼。 相關連結：

看到這裡，我們也就知道前幾天，從阿裡離職創業的賈揚清在朋友圈提到的是哪家企業了。

針對此事，機器之心也向零一萬物進行了求證。 零一萬物回應稱：

GPT 是一個業內公認的成熟架構，LLaMA 在 GPT 上做了總結。 零一萬物研發大模型的結構設計基於 GPT 成熟結構，借鑒了行業頂尖水平的公開成果，同時基於零一萬物團隊對模型和訓練的理解做了大量工作，這是我們首次發佈獲得優秀結果的地基之一。 與此同時，零一萬物也在持續探索模型結構層面本質上的突破。

模型結構僅是模型訓練其中一部分。 Yi 開源模型在其他方面的精力，比如數據工程、訓練方法、baby sitting（訓練過程監測）的技巧、hyperparameter 設置、評估方法以及對評估指標的本質理解深度、對模型泛化能力的原理的研究深度、行業頂尖的 AI Infra 能力等，投入了大量研發和打底工作，這些工作往往比起基本結構能起到更大的作用跟價值，這些也是零一萬物在大模型預訓練階段的核心技術護城河。

在大量訓練實驗過程中，由於實驗執行需求對代碼做了更名，我們尊重開源社區的反饋，將代碼進行更新，也更好的融入 Transformer 生態。

我們非常感謝社區的反饋，我們在開源社區剛剛起步，希望和大家攜手共創社區繁榮，Yi Open-source 會盡最大努力持續進步。