李開復(fù)零一萬物公司回應(yīng)大模型爭(zhēng)議：承認(rèn)模型結(jié)構(gòu)基于GPT結(jié)構(gòu)

　　李開復(fù)旗下公司「零一萬物」的大模型 Yi-34B 引發(fā)爭(zhēng)議，因研究者發(fā)現(xiàn)其基本采用 LLaMA 架構(gòu)，但只是對(duì)兩個(gè)張量進(jìn)行了重命名。

　　2. 有關(guān)該模型的性能和成就，包括上下文窗口大小超過200k、一次處理40萬漢字、在 Hugging Face 全球開源模型排行榜中獲得雙料冠軍等。

　　3. 在社區(qū)中有人指出，Yi-34B 實(shí)際上是對(duì) LLaMA 代碼的一次重構(gòu)，但未作實(shí)質(zhì)性改變，引起對(duì)虛假宣傳、許可證違規(guī)等問題的疑慮。公司回應(yīng)表示基于 GPT 結(jié)構(gòu)，并在模型訓(xùn)練中遇到的一些需求導(dǎo)致了代碼重命名。

　　最近，「零一萬物」公司旗下的大模型 Yi-34B 因使用 LLaMA 架構(gòu)但改變張量名引發(fā)爭(zhēng)議。這一爭(zhēng)議中，研究者指出其代碼實(shí)際上是對(duì) LLaMA 代碼的一次重構(gòu)，只是未作實(shí)質(zhì)性改變。社區(qū)擔(dān)心這可能違反了許可證規(guī)定，且未經(jīng)過框架支持的外部代碼附加可能存在安全風(fēng)險(xiǎn)。

　　Yi-34B 的成就在開源大模型領(lǐng)域引起了廣泛關(guān)注，其上下文窗口大小超過200k，能處理40萬漢字，成為全球開源模型雙料冠軍。然而，爭(zhēng)議的核心在于其是否真正符合 LLaMA 的許可協(xié)議，以及對(duì)模型代碼的更改是否屬于虛假宣傳。

　　在社區(qū)的討論中，有人提到模型的性能參數(shù)和配置存在疑慮，包括模型被標(biāo)榜為32K 模型實(shí)際上配置為4K 模型的問題。此外，對(duì)于模型的微調(diào)數(shù)據(jù)和基準(zhǔn)測(cè)試的信息也沒有充分提供，引起了社區(qū)的疑慮。

　　「零一萬物」公司回應(yīng)稱，他們的模型結(jié)構(gòu)基于 GPT 成熟結(jié)構(gòu)，但在訓(xùn)練實(shí)驗(yàn)中由于需求對(duì)代碼進(jìn)行了更名。他們強(qiáng)調(diào)模型的結(jié)構(gòu)只是其中一部分，投入了大量研發(fā)工作在數(shù)據(jù)工程、訓(xùn)練方法、評(píng)估方法等方面，這是他們?cè)诖竽Ｐ皖A(yù)訓(xùn)練階段的核心技術(shù)護(hù)城河。最后，他們表示尊重社區(qū)的反饋，將代碼進(jìn)行更新以更好地融入 Transformer 生態(tài)。

　　綜合來看，爭(zhēng)議集中在「零一萬物」公司的 Yi-34B 模型是否違反了開源協(xié)議，以及其在性能參數(shù)和代碼修改上的透明度。這一事件提醒開源社區(qū)對(duì)于模型的合規(guī)性和透明度的重要性，同時(shí)也反映了在開源領(lǐng)域中公司的技術(shù)選擇可能引發(fā)廣泛關(guān)注和爭(zhēng)議的現(xiàn)實(shí)。