擊敗GPT-4o、僅次于o1！英偉達(dá)重磅開(kāi)源超強(qiáng)大模型--Nemotron

　　全球AI領(lǐng)導(dǎo)者英偉達(dá)(Nvidia)開(kāi)源了超強(qiáng)大模型——Llama-3.1-Nemotron-70B-Instruct。

　　根據(jù)測(cè)試數(shù)據(jù)顯示，這個(gè)模型已經(jīng)擊敗GPT-4o、GPT-4turbo、Gemma-2、Gemini-1.5、Claude-3.5sonnet等140多個(gè)開(kāi)閉源模型，僅次于OpenAI發(fā)布的最新模型o1。

　　Nemotron的基礎(chǔ)模型是基于Llama-3.1-70B開(kāi)發(fā)而成，這個(gè)沒(méi)什么新奇。但在訓(xùn)練的過(guò)程使用了一種新的混合訓(xùn)練方法，將Bradley-Terry和Regression一起用于訓(xùn)練獎(jiǎng)勵(lì)模型。

　　值得一提的是，英偉達(dá)把Nemotron的訓(xùn)練數(shù)據(jù)集也開(kāi)源了，這對(duì)于開(kāi)發(fā)同類(lèi)型或超過(guò)Nemotron的模型非常重要，因?yàn)檫@個(gè)是使用混合訓(xùn)練方法的關(guān)鍵所在。

　　有網(wǎng)友表示，英偉達(dá)熱衷于不斷開(kāi)源超強(qiáng)模型，一方面有大量資金資助他們的科研人員研發(fā)，另外主要目的還是為了賣(mài)GPU以及培養(yǎng)開(kāi)發(fā)生態(tài)。而Meta依托他的社交帝國(guó)，在商業(yè)化和資金方面都不愁。

　　最愁的便是那些大模型初創(chuàng)企業(yè)了，錢(qián)拼不過(guò)這些巨頭，商業(yè)落地和名氣更不用提。所以，很多小企業(yè)可能會(huì)因?yàn)榫揞^的碾壓，很快會(huì)出現(xiàn)資金斷裂等各種問(wèn)題。

　　很高興看到AI領(lǐng)域的競(jìng)爭(zhēng)，正在以驚人的速度推動(dòng)行業(yè)向前發(fā)展。

　　這可是重磅開(kāi)源。

　　為了新模型，買(mǎi)兩個(gè)4090爽一下吧。

　　模型是免費(fèi)的，但運(yùn)行的硬件可不免費(fèi)啊。

　　我正在測(cè)試這個(gè)模型，我是一個(gè)高級(jí)AI用戶(hù)說(shuō)說(shuō)使用心得:在商業(yè)寫(xiě)作方面，似乎比Claude3和ChatGPT聰明一些。但它依然會(huì)犯一些錯(cuò)誤，相比于普通的3.170b Instruct，確實(shí)更聰明。

　　Nvidia可以以1000倍更低的成本實(shí)現(xiàn)這一點(diǎn)。如果Nvidia真的原意這么做，那么將無(wú)人能與之競(jìng)爭(zhēng)。

　　創(chuàng)新混合訓(xùn)練方法

　　在訓(xùn)練大模型的過(guò)程中，為了確保模型在實(shí)際使用中能夠準(zhǔn)確地理解并遵循用戶(hù)的提示指令，準(zhǔn)確進(jìn)行翻譯、文本生成、問(wèn)答等任務(wù)，獎(jiǎng)勵(lì)模型發(fā)揮了很重要的作用，主要通過(guò)為模型的輸出打分，指導(dǎo)模型生成更高質(zhì)量的回答來(lái)實(shí)現(xiàn)。

　　目前，主流的獎(jiǎng)勵(lì)模型方法主要有Bradley-Terry和Regression兩種:Bradley-Terry風(fēng)格的獎(jiǎng)勵(lì)模型起源于統(tǒng)計(jì)學(xué)中的排名理論，通過(guò)最大化被選擇響應(yīng)和被拒絕響應(yīng)之間的獎(jiǎng)勵(lì)差距。這種方法強(qiáng)調(diào)在給定的提示下，用戶(hù)會(huì)選擇哪個(gè)響應(yīng)，從而為模型提供了一種直接的、基于偏好的反饋。

　　Regression則借鑒了心理學(xué)中的評(píng)分量表，通過(guò)預(yù)測(cè)特定提示下響應(yīng)的分?jǐn)?shù)來(lái)訓(xùn)練模型。這種方法允許模型對(duì)響應(yīng)的質(zhì)量進(jìn)行更細(xì)致的評(píng)估，但可能不如基于偏好的方法直觀。

　　但這兩種方法都有明顯的缺點(diǎn)，Bradley-Terry需要用戶(hù)在兩個(gè)響應(yīng)中選擇一個(gè);而回歸風(fēng)格的模型需要評(píng)分?jǐn)?shù)據(jù)，用戶(hù)需要為每個(gè)響應(yīng)打分才能幫助模型提升性能。所以，英偉達(dá)直接把兩個(gè)模型的優(yōu)點(diǎn)放在一起使用來(lái)解決這個(gè)難題。

　　首先是需要開(kāi)發(fā)一個(gè)包含評(píng)分和偏好注釋的數(shù)據(jù)集HELPSTEER2-PREFERENCE。研究人員是在HELPSTEER2基礎(chǔ)上添加偏好注釋。

　　這些偏好注釋不僅包括用戶(hù)在兩個(gè)響應(yīng)中選擇一個(gè)的偏好方向，還包括用戶(hù)對(duì)這種偏好的強(qiáng)度評(píng)分。為了確保數(shù)據(jù)的質(zhì)量和可解釋性，還要求注釋者為他們的偏好提供書(shū)面說(shuō)明。

　　在訓(xùn)練這種新型混合方法時(shí)，研究人員使用AdamW優(yōu)化器來(lái)訓(xùn)練模型，通過(guò)引入權(quán)重衰減和梯度裁剪來(lái)提高訓(xùn)練的穩(wěn)定性和效率。

　　為了進(jìn)一步提高模型性能，使用了ExPO在訓(xùn)練過(guò)程中對(duì)模型的權(quán)重進(jìn)行外推，可以進(jìn)一步提高模型的性能�？梢允鼓Ｐ驮谟�(xùn)練時(shí)更加關(guān)注那些差異較大的響應(yīng)對(duì)，從而提高模型的區(qū)分能力。

　　此外，研究人員還進(jìn)行了廣泛的超參數(shù)搜索，以找到最佳的學(xué)習(xí)率和KL懲罰項(xiàng)。這些超參數(shù)對(duì)于模型的訓(xùn)練至關(guān)重要，因?yàn)樗鼈冎苯佑绊懙侥Ｐ偷氖諗克俣群妥罱K性能。

　　HELPSTEER2-PREFERENCE數(shù)據(jù)集

　　為了開(kāi)發(fā)這個(gè)多元化滿(mǎn)足新的混合訓(xùn)練方法數(shù)據(jù)集，在數(shù)據(jù)注釋的過(guò)程中，每一對(duì)回應(yīng)都經(jīng)過(guò)3—5名標(biāo)注者的評(píng)價(jià)。這些標(biāo)注者需要從多個(gè)維度對(duì)每個(gè)回應(yīng)進(jìn)行評(píng)分，包括有用性、準(zhǔn)確性、連貫性、復(fù)雜性和冗長(zhǎng)程度等。為了更好地理解背后的原因，標(biāo)注者還需要提供簡(jiǎn)短的文字說(shuō)明，解釋為何選擇了某個(gè)回應(yīng)作為更好的答案。這種方法不僅增強(qiáng)了數(shù)據(jù)的透明度，也為后續(xù)分析提供了豐富的上下文信息。

　　研究人員還使用了嚴(yán)格的數(shù)據(jù)預(yù)處理步驟來(lái)保證數(shù)據(jù)質(zhì)量。例如，他們會(huì)識(shí)別出每個(gè)任務(wù)中相似度最高的三個(gè)偏好注釋?zhuān)�然后取這三個(gè)注釋的平均值并四舍五入到最接近的整數(shù)，以此作為該任務(wù)的整體偏好得分。

　　同時(shí)，為了排除那些標(biāo)注者意見(jiàn)分歧較大的樣本，研究人員們會(huì)過(guò)濾掉那些注釋之間差異超過(guò)一定范圍的任務(wù)。這些措施共同作用，有效提升了數(shù)據(jù)的可靠性和一致性。

　　根據(jù)測(cè)試數(shù)據(jù)顯示，使用HELPSTEER2-PREFERENCE數(shù)據(jù)集訓(xùn)練的模型性能非常強(qiáng)，在RewardBench評(píng)測(cè)中達(dá)到了94.1的高分，超過(guò)了同期幾乎所有其他模型的表現(xiàn)。