本文來自于微信公眾號(hào) 機(jī)器之心(ID:almosthuman2014),作者:小舟。
隨著大模型掀起新一輪 AI 熱潮,人們開始思考:大模型的強(qiáng)大能力來源于什么?
當(dāng)前,大模型一直在由不斷增加的「大數(shù)據(jù)」來推動(dòng)!复竽P + 大數(shù)據(jù)」似乎已經(jīng)成為構(gòu)建模型的標(biāo)準(zhǔn)范式。但隨著模型規(guī)模和數(shù)據(jù)量的不斷增長(zhǎng),算力的需求會(huì)迅速膨脹。一些研究者嘗試探索新思路。
6月,微軟發(fā)布了一篇題為《Textbooks Are All You Need》的論文,用規(guī)模僅為7B token 的「教科書質(zhì)量」數(shù)據(jù)訓(xùn)練了一個(gè)1.3B 參數(shù)的模型 ——phi-1。盡管在數(shù)據(jù)集和模型大小方面比競(jìng)品模型小幾個(gè)數(shù)量級(jí),但 phi-1在 HumanEval 的 pass@1上達(dá)到了50.6% 的準(zhǔn)確率,在 MBPP 上達(dá)到了55.5%。
phi-1證明高質(zhì)量的「小數(shù)據(jù)」能夠讓模型具備良好的性能。最近,微軟又發(fā)表了論文《Textbooks Are All You Need II: phi-1.5technical report》,對(duì)高質(zhì)量「小數(shù)據(jù)」的潛力做了進(jìn)一步研究。
模型簡(jiǎn)介
架構(gòu)
研究團(tuán)隊(duì)使用 phi-1的研究方法,并將研究重點(diǎn)放在自然語(yǔ)言常識(shí)推理任務(wù)上,創(chuàng)建了擁有1.3B 參數(shù)的 Transformer 架構(gòu)語(yǔ)言模型 phi-1.5。phi-1.5的架構(gòu)與 phi-1完全相同,有24層,32個(gè)頭,每個(gè)頭的維度為64,并使用旋轉(zhuǎn)維度為32的旋轉(zhuǎn)嵌入,上下文長(zhǎng)度為2048。
此外,該研究還使用 flash-attention 進(jìn)行訓(xùn)練加速,并使用 codegen-mono 的 tokenizer。
訓(xùn)練數(shù)據(jù)
phi-1.5的訓(xùn)練數(shù)據(jù)是由 phi-1的訓(xùn)練數(shù)據(jù)(7B token)和新創(chuàng)建的「教科書質(zhì)量」數(shù)據(jù)(大約20B token)組成的。其中,新創(chuàng)建的「教科書質(zhì)量」數(shù)據(jù)旨在讓模型掌握常識(shí)推理,研究團(tuán)隊(duì)精心挑選了20K 個(gè)主題來生成新數(shù)據(jù)。
值得注意的是,為了探討網(wǎng)絡(luò)數(shù)據(jù)(LLM 常用)的重要性,該研究還構(gòu)建了 phi-1.5-web-only 和 phi-1.5-web 兩個(gè)模型。
研究團(tuán)隊(duì)表示:創(chuàng)建強(qiáng)大且全面的數(shù)據(jù)集需要的不僅是原始計(jì)算能力,還需要復(fù)雜的迭代、有效的主題選擇,以及對(duì)知識(shí)的深入了解,具備這些要素,才能確保數(shù)據(jù)的質(zhì)量和多樣性。
實(shí)驗(yàn)結(jié)果
對(duì)于語(yǔ)言理解任務(wù),該研究在多個(gè)數(shù)據(jù)集(包括 PIQA、Hellaswag、OpenbookQA、SQUAD 和 MMLU)上評(píng)估了一些模型。評(píng)估結(jié)果如下表3所示,phi-1.5的性能可以媲美5倍大的模型:
在常識(shí)推理基準(zhǔn)上的測(cè)試結(jié)果如下表所示:
在更復(fù)雜的推理任務(wù)(例如小學(xué)數(shù)學(xué)和基礎(chǔ)編碼任務(wù))上 phi-1.5還超越了大多數(shù) LLM:
研究團(tuán)隊(duì)認(rèn)為,phi-1.5再次證明了高質(zhì)量「小數(shù)據(jù)」的力量。
質(zhì)疑與討論
或許是因?yàn)椤复竽P?+ 大數(shù)據(jù)」的理念太深入人心,這項(xiàng)研究遭到了機(jī)器學(xué)習(xí)社區(qū)一些研究人員的質(zhì)疑,甚至有人懷疑 phi-1.5直接在測(cè)試基準(zhǔn)數(shù)據(jù)集上訓(xùn)練了。
網(wǎng)友 Susan Zhang 進(jìn)行了一系列驗(yàn)證,并指出:「phi-1.5能夠?qū)?GSM8K 數(shù)據(jù)集中的原問題給出完全正確的回答,但只要稍微修改一下格式(例如換行),phi-1.5就不會(huì)回答了!
還有修改問題中的數(shù)據(jù),phi-1.5在解答問題的過程中就會(huì)出現(xiàn)「幻覺」。例如,在一個(gè)點(diǎn)餐問題中,只修改了「披薩的價(jià)格」,phi-1.5的解答就出現(xiàn)了錯(cuò)誤。
并且,phi-1.5似乎「記住了」最終答案,即使在修改數(shù)據(jù)的情況下該答案已經(jīng)是錯(cuò)誤的。
對(duì)此,論文作者之一 Ronen Eldan 很快給出了回應(yīng),針對(duì)上述網(wǎng)友測(cè)試出現(xiàn)的問題給出解釋和反駁:
但該網(wǎng)友再次闡明其觀點(diǎn):測(cè)試說明 phi-1.5的回答對(duì) prompt 的格式是非常「脆弱」的,并對(duì)作者的回應(yīng)提出質(zhì)疑:
論文第一作者 Yuanzhi Li 回應(yīng)道:「由于沒有進(jìn)行任何指令微調(diào)和對(duì)齊工作,phi-1.5在穩(wěn)健性上的確不如 GPT-4。但『脆弱』并不是正確的術(shù)語(yǔ),事實(shí)上,對(duì)于任何模型,pass@k 準(zhǔn)確率都會(huì)比 pass@1高得多(所以模型正確就是偶然的)。」
看到這些質(zhì)疑與討論,網(wǎng)友們直呼:「最簡(jiǎn)單的回應(yīng)方式就是直接公開合成數(shù)據(jù)集!
對(duì)此,你怎么看?
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會(huì)上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽(yáng)成功舉辦。