大佬喊話，AI寒冬已來(lái)？

　　OpenAI的原聯(lián)合創(chuàng)始人-IlyaSutskever指出，使用大量未標(biāo)記數(shù)據(jù)來(lái)理解語(yǔ)言模式和結(jié)構(gòu)的訓(xùn)練階段已經(jīng)接近尾聲。

　　他提到，擴(kuò)展訓(xùn)練的結(jié)果已經(jīng)趨于平穩(wěn)，意味著通過(guò)增加數(shù)據(jù)和算力來(lái)提升AI模型性能的方法(即Scaling Law)已經(jīng)遇到瓶頸。

　　像ChatGPT這樣的大型語(yǔ)言模型（LLMs）

　　當(dāng)前擴(kuò)展策略已達(dá)到極限

　　根據(jù)Ilya Sutskever的說(shuō)法，簡(jiǎn)單地通過(guò)增加更多數(shù)據(jù)和計(jì)算資源來(lái)擴(kuò)大規(guī)模已不足以實(shí)現(xiàn)有意義的進(jìn)步。

　　Ilya表示，雖然增加計(jì)算能力仍然是提升AI性能的一個(gè)方式，但已經(jīng)無(wú)法像以前那樣通過(guò)不斷堆砌算力和數(shù)據(jù)量來(lái)實(shí)現(xiàn)模型的大幅提升。

　　大模型企業(yè)需要采用更智能的訓(xùn)練技術(shù)，更加重視模型訓(xùn)練的方式和內(nèi)容，而不僅僅是關(guān)注規(guī)模大小。

　　這種方法的轉(zhuǎn)變代表了人工智能發(fā)展的關(guān)鍵轉(zhuǎn)折點(diǎn)，超越了“越大越好”的理念。

　　預(yù)訓(xùn)練階段，大模型被輸入大量未分類數(shù)據(jù)以識(shí)別模式和結(jié)構(gòu)的過(guò)程，一直是開(kāi)發(fā)強(qiáng)大LLMs的基石。

　　這個(gè)階段，模型通過(guò)消化各種文本——從書(shū)籍、文章到網(wǎng)站和社交媒體帖子——來(lái)學(xué)習(xí)語(yǔ)言表示，使其能夠識(shí)別語(yǔ)法、語(yǔ)法和含義。

　　從過(guò)往發(fā)展上看，這種方法效果很好，通過(guò)簡(jiǎn)單地增加數(shù)據(jù)量，LLMs提高性能。

　　然而，Ilya Sutskever認(rèn)為這種方法現(xiàn)在已經(jīng)趨于平穩(wěn)。增加更多數(shù)據(jù)所帶來(lái)的性能提升正在減少，更重要的是，人們?cè)絹?lái)越意識(shí)到模型的有效性不僅取決于它處理的數(shù)據(jù)量，還取決于它接觸到的數(shù)據(jù)的質(zhì)量和結(jié)構(gòu)。

　　意味著大模型企業(yè)必須重新思考他們的策略，以在LLMs的發(fā)展上取得進(jìn)一步的進(jìn)展，換句話說(shuō)，大模型進(jìn)一步發(fā)展的大山跨不過(guò)去，也許就是一道“生死分割線”。

　　向“更智能”訓(xùn)練的轉(zhuǎn)變

　　應(yīng)該更關(guān)注模型的細(xì)膩度

　　Ilya Sutskever提及研究人員現(xiàn)在需要考慮更先進(jìn)的方法來(lái)完善學(xué)習(xí)過(guò)程，而不僅僅是增加數(shù)據(jù)集的大小。

　　包括改進(jìn)訓(xùn)練期間使用的算法，優(yōu)化數(shù)據(jù)管理，并引入更先進(jìn)的技術(shù)，如強(qiáng)化學(xué)習(xí)或多模態(tài)訓(xùn)練，其中模型不僅接觸到文本，還接觸到圖像、視頻或其他形式的數(shù)據(jù)。

　　Ilya Sutskever關(guān)于未來(lái)的LLMs將需要“稍微思考更長(zhǎng)時(shí)間”的評(píng)論強(qiáng)調(diào)了進(jìn)步的另一個(gè)關(guān)鍵方面。

　　大模型需要在更長(zhǎng)時(shí)間內(nèi)進(jìn)行更復(fù)雜推理的能力，對(duì)于需要深度理解、多步驟推理或長(zhǎng)期記憶的任務(wù)越來(lái)越必要。

　　隨著復(fù)雜性增長(zhǎng)，大模型必須能夠在更長(zhǎng)的對(duì)話中保持上下文，執(zhí)行更復(fù)雜的任務(wù)，并響應(yīng)數(shù)據(jù)中更微妙的線索。

　　例如，像ChatGPT當(dāng)前的LLMs可以在單次對(duì)話中生成令人印象深刻的連貫且與上下文相關(guān)的回應(yīng)。

　　但是很明顯，在長(zhǎng)期交流中的上下文或處理復(fù)雜邏輯推理任務(wù)的時(shí)候，還存在很多困難。

　　為了克服這一限制，未來(lái)的模型將需要實(shí)現(xiàn)更好的記憶機(jī)制和更復(fù)雜的處理能力，以便“思考”更長(zhǎng)時(shí)間。

　　隨著計(jì)算能力的持續(xù)增長(zhǎng)，走在前列的大模型企業(yè)關(guān)注的重點(diǎn)逐漸從簡(jiǎn)單地?cái)U(kuò)展模型轉(zhuǎn)向更高效和更具上下文智能發(fā)展。涉及神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)算法以及人工智能系統(tǒng)處理和保留信息的方式的技術(shù)進(jìn)步的結(jié)合。

　　未來(lái)有了更智能、思考更長(zhǎng)時(shí)間的模型，人工智能可以變得更適應(yīng)性，允許與用戶進(jìn)行更個(gè)性化、更準(zhǔn)確、更有洞察力的互動(dòng)。

　　當(dāng)然如果技術(shù)有進(jìn)一步落地，人工智能應(yīng)用也將會(huì)實(shí)現(xiàn)在從醫(yī)療保健到金融到客戶服務(wù)等多個(gè)行業(yè)的突破。

　　總之，Ilya Sutskever強(qiáng)調(diào)了人工智能研究中一個(gè)關(guān)鍵時(shí)刻:隨著LLMs的預(yù)訓(xùn)練階段達(dá)到其極限，未來(lái)的進(jìn)展取決于開(kāi)發(fā)更智能的訓(xùn)練技術(shù)和提高模型在更長(zhǎng)時(shí)間內(nèi)保持上下文的能力。

　　在當(dāng)下，對(duì)于大模型企業(yè)來(lái)說(shuō)，正確選擇擴(kuò)展的方向比以往任何時(shí)候都更為重要。

　　大模型企業(yè)必須重新思考處理模型擴(kuò)展的方法，少關(guān)注簡(jiǎn)單地增加更多數(shù)據(jù)和計(jì)算資源，更多地關(guān)注完善訓(xùn)練過(guò)程和開(kāi)發(fā)能夠更深入、更連貫地推理的模型。

　　llya驚起千層浪，他的SSI什么來(lái)頭?

　　SSI(Safe Superintelligence)由Ilya Sutskever、Daniel Levy和Daniel Gross三人創(chuàng)立，旨在開(kāi)發(fā)遠(yuǎn)超人類能力的安全人工智能系統(tǒng)。Ilya Sutskever曾強(qiáng)調(diào)，他們的首要產(chǎn)品將是關(guān)于超級(jí)智能的安全。

　　SSI在沒(méi)有發(fā)布任何產(chǎn)品的情況下，三個(gè)多月就已經(jīng)籌集了10億美元現(xiàn)金，公司估值達(dá)到50億美元。

　　Ilya Sutskever 是 OpenAI 的聯(lián)合創(chuàng)始人之一，在2024年5月離開(kāi)。他是人工智能領(lǐng)域最具影響力的技術(shù)專家之一，曾師從被稱為“人工智能教父”的 Geoffrey Hinton，也是擴(kuò)展假設(shè)的早期倡導(dǎo)者。

　　Daniel Gross曾擔(dān)任蘋果公司AI技術(shù)負(fù)責(zé)人，也曾是前Y Combinator合伙人，而 Daniel Levy則是 OpenAI 的前員工。

　　SSI以常規(guī)的營(yíng)利性結(jié)構(gòu)運(yùn)營(yíng)，現(xiàn)在約10名員工，分布在加利福尼亞州的帕洛阿托以及以色列特拉維。

　　SSI的投資者包括頂級(jí)風(fēng)險(xiǎn)投資公司 Andreessen Horowitz、Sequoia Capital、*** Global 和 SV Angel，以及由 Nat Friedman 和 SSI 首席執(zhí)行官 Daniel Gross 運(yùn)營(yíng)的投資合伙企業(yè) NFDG。

　　SSI是否能掀起大模型界的“研究山峰”

　　當(dāng)然在這次眾人關(guān)注的對(duì)話中，Ilya也提到，SSI已經(jīng)發(fā)現(xiàn)了一個(gè)新的研究領(lǐng)域，有可能改變我們對(duì)人工智能的理解。

　　他將這一研究領(lǐng)域比作一座山，表示一旦攻克這座山，AI的“范式”將發(fā)生根本性的改變。讓大家對(duì)SSI未來(lái)的技術(shù)突破賦予期待，他們有可能帶來(lái)一場(chǎng)AI領(lǐng)域的“革命”。

　　然而，具體的研究方向和細(xì)節(jié)仍未公開(kāi)。

　　另一方面，也基于Ilya過(guò)往的工作經(jīng)歷，他多次表明他和SSI的目標(biāo)不僅僅是推動(dòng)AI技術(shù)的邊界，更重要的是通過(guò)確保超級(jí)智能的安全，避免可能帶來(lái)的倫理和社會(huì)風(fēng)險(xiǎn)。盡管Scaling Law可能已遇到瓶頸，但SSI的探索表明，AI領(lǐng)域的進(jìn)展依然充滿潛力，且正在朝著更加復(fù)雜和安全的方向發(fā)展。

　　從目前來(lái)看，AI的進(jìn)步不再是單純的技術(shù)競(jìng)爭(zhēng)，更多的是如何平衡技術(shù)發(fā)展、安全、商業(yè)化之間的關(guān)系，無(wú)疑是一個(gè)具有挑戰(zhàn)性的長(zhǎng)期課題。

　　隨著新方法和新領(lǐng)域的突破，未來(lái)的人工智能可能會(huì)以一種全新的方式與我們相遇。