李開復(fù)零一萬物公司回應(yīng)大模型爭議：承認模型結(jié)構(gòu)基于GPT結(jié)構(gòu)

　　李開復(fù)旗下公司「零一萬物」的大模型 Yi-34B 引發(fā)爭議，因研究者發(fā)現(xiàn)其基本采用 LLaMA 架構(gòu)，但只是對兩個張量進行了重命名。

　　2. 有關(guān)該模型的性能和成就，包括上下文窗口大小超過200k、一次處理40萬漢字、在 Hugging Face 全球開源模型排行榜中獲得雙料冠軍等。

　　3. 在社區(qū)中有人指出，Yi-34B 實際上是對 LLaMA 代碼的一次重構(gòu)，但未作實質(zhì)性改變，引起對虛假宣傳、許可證違規(guī)等問題的疑慮。公司回應(yīng)表示基于 GPT 結(jié)構(gòu)，并在模型訓(xùn)練中遇到的一些需求導(dǎo)致了代碼重命名。

　　最近，「零一萬物」公司旗下的大模型 Yi-34B 因使用 LLaMA 架構(gòu)但改變張量名引發(fā)爭議。這一爭議中，研究者指出其代碼實際上是對 LLaMA 代碼的一次重構(gòu)，只是未作實質(zhì)性改變。社區(qū)擔心這可能違反了許可證規(guī)定，且未經(jīng)過框架支持的外部代碼附加可能存在安全風(fēng)險。

　　Yi-34B 的成就在開源大模型領(lǐng)域引起了廣泛關(guān)注，其上下文窗口大小超過200k，能處理40萬漢字，成為全球開源模型雙料冠軍。然而，爭議的核心在于其是否真正符合 LLaMA 的許可協(xié)議，以及對模型代碼的更改是否屬于虛假宣傳。

　　在社區(qū)的討論中，有人提到模型的性能參數(shù)和配置存在疑慮，包括模型被標榜為32K 模型實際上配置為4K 模型的問題。此外，對于模型的微調(diào)數(shù)據(jù)和基準測試的信息也沒有充分提供，引起了社區(qū)的疑慮。

　　「零一萬物」公司回應(yīng)稱，他們的模型結(jié)構(gòu)基于 GPT 成熟結(jié)構(gòu)，但在訓(xùn)練實驗中由于需求對代碼進行了更名。他們強調(diào)模型的結(jié)構(gòu)只是其中一部分，投入了大量研發(fā)工作在數(shù)據(jù)工程、訓(xùn)練方法、評估方法等方面，這是他們在大模型預(yù)訓(xùn)練階段的核心技術(shù)護城河。最后，他們表示尊重社區(qū)的反饋，將代碼進行更新以更好地融入 Transformer 生態(tài)。

　　綜合來看，爭議集中在「零一萬物」公司的 Yi-34B 模型是否違反了開源協(xié)議，以及其在性能參數(shù)和代碼修改上的透明度。這一事件提醒開源社區(qū)對于模型的合規(guī)性和透明度的重要性，同時也反映了在開源領(lǐng)域中公司的技術(shù)選擇可能引發(fā)廣泛關(guān)注和爭議的現(xiàn)實。