英偉達(dá)開源新王登基！70B刷爆SOTA，擊敗GPT-4o只服OpenAI o1

　　就在剛剛，英偉達(dá)開源了超強(qiáng)模型Nemotron-70B，后者一經(jīng)發(fā)布就超越了GPT-4o和Claude3.5Sonnet，僅次于OpenAI o1!AI社區(qū)驚呼:新的開源王者又來了?業(yè)內(nèi)直呼:用Llama3.1訓(xùn)出小模型吊打GPT-4o，簡(jiǎn)直是神來之筆!

　　一覺醒來，新模型Nemotron-70B成為僅次o1的最強(qiáng)王者!

　　是的，就在昨晚，英偉達(dá)悄無聲息地開源了這個(gè)超強(qiáng)大模型。

　　一經(jīng)發(fā)布，它立刻在AI社區(qū)引發(fā)巨大轟動(dòng)。

　　在多個(gè)基準(zhǔn)測(cè)試中，它一舉超越多個(gè)最先進(jìn)的AI模型，包括OpenAI的GPT-4、GPT-4Turbo以及Anthropic的Claude3.5Sonnet等140多個(gè)開閉源模型。

　　并且僅次于OpenAI最新模型o1。

　　在即便是在沒有專門提示、額外推理token的情況下，Nemotron-70B也能答對(duì)「草莓有幾個(gè)r」經(jīng)典難題。

　　業(yè)內(nèi)人士評(píng)價(jià):英偉達(dá)在Llama3.1的基礎(chǔ)上訓(xùn)練出不太大的模型，超越了GPT-4o和Claude3.5Sonnet，簡(jiǎn)直是神來之筆。

　　網(wǎng)友們紛紛評(píng)論:這是一個(gè)歷史性的開放權(quán)重模型。

　　目前，模型權(quán)重已可在Hugging Face上獲取。

　　有人已經(jīng)用兩臺(tái)Macbook跑起來了。

　　超越GPT-4o，英偉達(dá)新模型爆火

　　Nemotron基礎(chǔ)模型，是基于Llama-3.1-70B開發(fā)而成。

　　Nemotron-70B通過人類反饋強(qiáng)化學(xué)習(xí)完成的訓(xùn)練，尤其是「強(qiáng)化算法」。

　　這次訓(xùn)練過程中，使用了一種新的混合訓(xùn)練方法，訓(xùn)練獎(jiǎng)勵(lì)模型時(shí)用了Bradley-Terry和Regression。

　　使用混合訓(xùn)練方法的關(guān)鍵，就是Nemotron的訓(xùn)練數(shù)據(jù)集，而英偉達(dá)也一并開源了。

　　它基于Llama-3.1-Nemotron-70B-Reward提供獎(jiǎng)勵(lì)信號(hào)，并利用HelpSteer2-Preference提示來引導(dǎo)模型生成符合人類偏好的答案。

　　在英偉達(dá)團(tuán)隊(duì)一篇預(yù)印本論文中，專門介紹了HelpSteer2-Preference算法。

　　在LMSYS大模型競(jìng)技場(chǎng)中，Arena Hard評(píng)測(cè)中，Nemotron-70B得分85。

　　在AlpacaEval2LC上得分57.6，在GPT-4-Turbo MT-Bench上為8.98。

　　能夠擊敗GPT-4o的模型，究竟有多強(qiáng)?

　　各路網(wǎng)友紛紛出題，來考驗(yàn)Nemotron-70B真實(shí)水平。

　　測(cè)試開始!

　　「一步一步認(rèn)真思考:我目前有兩根香蕉，我昨天吃掉一根，現(xiàn)在還有幾根」?

　　Nemotron-70B會(huì)將問題所給信息進(jìn)行分解，然后一步一步推理得出，最終的正確答案是2根。

　　評(píng)論區(qū)網(wǎng)友表示，來一道上難度的題「列出活到89歲的十位名人」。

　　不過，模型卻把某人的去世日期弄錯(cuò)了，然而它不是一個(gè)推理題。

　　還有開發(fā)者要求它，將整個(gè)entropix的jax模型實(shí)現(xiàn)轉(zhuǎn)換成Pytorch格式，而且在零樣本的情況下，70B模型就完成了。

　　那么，Nemotron-70B在hard prompt上的表現(xiàn)，是否值得推敲?

　　在如下測(cè)試中，顯然并沒有通過，但確實(shí)給出了一個(gè)非常有趣的初步輸出。

　　「考慮一個(gè)假設(shè)情況，如果月球只有25英里遠(yuǎn)，而一個(gè)人有太空服來保護(hù)自己免受太空環(huán)境的嚴(yán)酷影響，人類步行到月球是否合理?只回答最突出的要點(diǎn)�！�

　　Nemotron-70B給出的回答是:

　　不可能，因?yàn)樾枰�克服巨大的重力逃逸速�?即使月球只有25英里遠(yuǎn)，人類仍然需要克服大約2.4公里/秒(5，376英里/小時(shí))的初始逃逸速度，才能從地球表面到達(dá)月球表面。步行速度最快也只有約5-6英里/小時(shí)(8-9.7公里/小時(shí))，遠(yuǎn)遠(yuǎn)不足以達(dá)到這個(gè)速度，使得步行到月球完全不切實(shí)際。

　　再來一道推理題，讓Nemotron-70B與GPT-4o一起PK「薛定諤的貓」實(shí)驗(yàn)變體:

　　一只死貓被放入一個(gè)盒子中，盒子里還有一個(gè)核同位素、一瓶毒藥和一個(gè)輻射探測(cè)器。如果輻射探測(cè)器檢測(cè)到輻射，它就會(huì)釋放毒藥。一天后打開盒子。貓活著的概率是多少?

　　Nemotron-70B考慮很有特點(diǎn)的是，從一開始就考慮到貓就是死的，即便放在盒子一天后，仍舊是死的。

　　而GPT-4o并沒有關(guān)注初始條件的重要性，而是就盒子里的客觀條件，進(jìn)行分析得出50%的概率。

　　有網(wǎng)友表示，非常期待看到Nemotron70B在自己的Ryzen5/Radeon5600Linux電腦上跑起來是什么樣子。

　　在40GB+以上的情況下，它簡(jiǎn)直就是一頭怪獸。

　　芯片巨頭不斷開源超強(qiáng)模型

　　英偉達(dá)為何如此熱衷于不斷開源超強(qiáng)模型?

　　業(yè)內(nèi)人表示，之所以這么做，就開源模型變得如此優(yōu)秀，就是為了讓所有盈利公司都必須訂購更多芯片，來訓(xùn)練越來越復(fù)雜的模型。無論如何，人們都需要購買硬件，來運(yùn)行免費(fèi)模型。

　　總之，只要英偉達(dá)在定制芯片上保持領(lǐng)先，在神經(jīng)形態(tài)芯片未來上投入足夠資金，他們會(huì)永遠(yuǎn)立于不敗之地。

　　無代碼初創(chuàng)公司創(chuàng)始人Andres Kull心酸地表示，英偉達(dá)可以不斷開源超強(qiáng)模型。因?yàn)樗麄兗扔写罅抠Y金資助研究者，同時(shí)還在不斷發(fā)展壯大開發(fā)生態(tài)。

　　而Meta可以依托自己的社交媒體，獲得利潤(rùn)上的資助。

　　然而大模型初創(chuàng)企業(yè)的處境就非常困難了，巨頭們通過種種手段，在商業(yè)落地和名氣上都取得了碾壓，但小企業(yè)如果無法創(chuàng)造利潤(rùn)，將很快失去風(fēng)頭家的資助，迅速倒閉。

　　而更加可怕的是，英偉達(dá)可以以低1000倍的成本實(shí)現(xiàn)這一點(diǎn)。

　　如果英偉達(dá)真的選擇這么做，將無人能與之匹敵。

　　現(xiàn)在，英偉達(dá)占美國(guó)GDP的11.7%。而在互聯(lián)網(wǎng)泡沫頂峰時(shí)期，思科僅占美國(guó)GDP的5.5%

　　最強(qiáng)開源模型是怎樣訓(xùn)練出來的

　　在訓(xùn)練模型的過程中，獎(jiǎng)勵(lì)模型發(fā)揮了很重要的作用，因?yàn)樗鼘?duì)于調(diào)整模型的遵循指令能力至關(guān)重要。

　　主流的獎(jiǎng)勵(lì)模型方法主要有兩種:Bradley-Terry和Regression。

　　前者起源于統(tǒng)計(jì)學(xué)中的排名理論，通過最大化被選擇和被拒絕響應(yīng)之間的獎(jiǎng)勵(lì)差距，為模型提供了一種直接的基于偏好的反饋。

　　后者則借鑒了心理學(xué)中的評(píng)分量表，通過預(yù)測(cè)特定提示下響應(yīng)的分?jǐn)?shù)來訓(xùn)練模型。這就允許模型對(duì)響應(yīng)的質(zhì)量進(jìn)行更細(xì)節(jié)的評(píng)估。

　　對(duì)研究者和從業(yè)人員來說，決定采用哪種獎(jiǎng)勵(lì)模型是很重要的。

　　然而，缺乏證據(jù)表明，當(dāng)數(shù)據(jù)充分匹配時(shí)，哪種方法優(yōu)于另一種。這也就意味著，現(xiàn)有公共數(shù)據(jù)集中無法提供充分匹配的數(shù)據(jù)。

　　英偉達(dá)研究者發(fā)現(xiàn)，迄今為止沒有人公開發(fā)布過與這兩種方法充分匹配的數(shù)據(jù)。

　　為此，他們集中了兩種模型的優(yōu)點(diǎn)，發(fā)布了名為HelpSteer2-Preference的高質(zhì)量數(shù)據(jù)集。

　　這樣，Bradley-Terry模型可以使用此類偏好注釋進(jìn)行有效訓(xùn)練，還可以讓注釋者表明為什么更喜歡一種響應(yīng)而非另一種，從而研究和利用偏好理由。

　　他們發(fā)現(xiàn)，這個(gè)數(shù)據(jù)集效果極好，訓(xùn)練出的模型性能極強(qiáng)，訓(xùn)出了RewardBench上的一些頂級(jí)模型(如Nemotron-340B-Reward)。

　　主要貢獻(xiàn)可以總結(jié)為以下三點(diǎn)——

　　1. 開源了一個(gè)高質(zhì)量的偏好建模數(shù)據(jù)集，這應(yīng)該是包含人類編寫偏好理由的通用領(lǐng)域偏好數(shù)據(jù)集的第一個(gè)開源版本。

　　2. 利用這些數(shù)據(jù)，對(duì)Bradley-Terry風(fēng)格和Regression風(fēng)格的獎(jiǎng)勵(lì)模型，以及可以利用偏好理由的模型進(jìn)行了比較。

　　3. 得出了結(jié)合Bradley-Terry和回歸獎(jiǎng)勵(lì)模型的新穎方法，訓(xùn)練出的獎(jiǎng)勵(lì)模型在RewardBench上得分為94.1分，這是截止2024.10.1表現(xiàn)最好的模型。

　　HelpSteer2-Preference數(shù)據(jù)集

　　數(shù)據(jù)收集過程中，注釋者都會(huì)獲得一個(gè)提示和兩個(gè)響應(yīng)。

　　他們首先在Likert-5量表上，從(有用性、正確性、連貫性、復(fù)雜性和冗長(zhǎng)性)幾個(gè)維度上，對(duì)每個(gè)響應(yīng)進(jìn)行注釋。

　　然后在7個(gè)偏好選項(xiàng)中進(jìn)行選擇，每個(gè)選項(xiàng)都與一個(gè)偏好分?jǐn)?shù)及偏好理由相關(guān)聯(lián)。

　　Scale AI會(huì)將每個(gè)任務(wù)分配給3-5個(gè)注釋者，以獨(dú)立標(biāo)記每個(gè)提示的兩個(gè)響應(yīng)之間的偏好。

　　嚴(yán)格的數(shù)據(jù)預(yù)處理，也保證了數(shù)據(jù)的質(zhì)量。

　　根據(jù)HelpSteer2，研究者會(huì)確定每個(gè)任務(wù)的三個(gè)最相似的偏好注釋，取其平均值，并將其四舍五入到最接近的整數(shù)，以給出整體偏好。

　　此外，研究者過濾掉了10%的任務(wù)，其中三個(gè)最相似的注釋分布超過2。

　　這樣就避免了對(duì)人類注釋者無法自信評(píng)估真實(shí)偏好的任務(wù)進(jìn)行訓(xùn)練。

　　HelpSteer2Preference中不同回應(yīng)之間的偏好分布與HelpSteer2中它們的幫助評(píng)分差異之間的關(guān)系

　　研究者發(fā)現(xiàn)，當(dāng)使用每種獎(jiǎng)勵(lì)模型的最佳形式時(shí)，Bradley-Terry類型和回歸類型的獎(jiǎng)勵(lì)模型彼此競(jìng)爭(zhēng)。

　　此外，它們可以相輔相成，訓(xùn)練一個(gè)以僅限幫助性SteerLM回歸模型為基礎(chǔ)進(jìn)行初始化的縮放Bradley-Terry模型，在RewardBench上整體得分達(dá)到94.1。

　　截至2024年10月1日，這在RewardBench排行榜上排名第一。

　　RewardBench上的模型表現(xiàn)

　　最后，這種獎(jiǎng)勵(lì)模型被證明在使用Online RLHF(特別是REINFORCE算法)對(duì)齊模型以使其遵循指令方面，非常有用。

　　如表4所示，大多數(shù)算法對(duì)于Llama-3.1-70B-Instruct都有所改進(jìn)。

　　對(duì)齊模型的性能:所有模型均由Llama-3.1-70B-Instruct作為基礎(chǔ)模型進(jìn)行訓(xùn)練

　　如表5所示，對(duì)于「Strawberry中有幾個(gè)r」這個(gè)問題，只有REINFORCE能正確回答這個(gè)問題。