IT之家的小伙伴們可能都有設(shè)想過,如果用 AI 生成的結(jié)果來訓(xùn)練 AI,進(jìn)行“套娃式訓(xùn)練”,能得到什么樣的結(jié)果?目前還真有研究團(tuán)隊對此進(jìn)行了觀察記錄,詳細(xì)論文及得出的結(jié)果發(fā)表在了 arXiv 上。
一句話總結(jié) —— “在訓(xùn)練中使用模型生成的內(nèi)容,將導(dǎo)致后續(xù)生成的模型出現(xiàn)不可逆轉(zhuǎn)的缺陷”,說人話就是研究人員發(fā)現(xiàn)“用 AI 生成的結(jié)果訓(xùn)練 AI,只會讓模型變得越來越差”。
據(jù)悉,研究人員專門研究了 AI 生成模型的概率分布,主要圍繞“文本到文本”和“圖像到圖像”展開,最終得出結(jié)論:“由于每個模型生成的結(jié)果都具有一定的特點(diǎn),因此用 AI 生成的模型訓(xùn)練 AI,隨著時間的推移,后者會忘記真正的底層數(shù)據(jù)分布。”
論文的主要作者之一 Ilia Shumailov 同時表示“隨著時間的推移,生成數(shù)據(jù)中的錯誤(IT之家注:例如虛假舉例)會迫使 AI 進(jìn)一步錯誤地感知現(xiàn)實,我們驚訝地觀察到模型崩潰發(fā)生的速度相當(dāng)快,模型可以迅速忘記他們最初從中學(xué)習(xí)的大部分原始數(shù)據(jù)。”
但小伙伴們可能會有所疑問,如果將 AI 生成的結(jié)果經(jīng)過人工潤色后再投入模型訓(xùn)練,是否可以避免模型“退化”?
答案是否定的,研究人員發(fā)現(xiàn)“模型退化過程是不可避免的”,因此即使對于“經(jīng)過潤色后理想化的 AI 輸出內(nèi)容”,模型在長期學(xué)習(xí)后,也會出現(xiàn)一定的退化現(xiàn)象。
對于任何大模型而言,由于其學(xué)習(xí)數(shù)據(jù)過多,它們都將不可避免地接觸到其他 AI 生成的數(shù)據(jù),因此研究人員表示“應(yīng)當(dāng)引入 AI 鑒定來挑出可能存在錯誤的學(xué)習(xí)數(shù)據(jù)”以提升模型的學(xué)習(xí)能力與準(zhǔn)確性。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
近日,德國柏林國際電子消費(fèi)品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設(shè)計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強(qiáng)大影響力。
近日,中國家電及消費(fèi)電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。