ChatGPT兩周年，國產o1大模型們緊追不舍

　　ChatGPT誕生的第二年，OpenAI和國內的一眾企業(yè)正在試著“拋棄”它。

　　在Scaling Law被質疑能力“見頂”的情況下，今年9月，OpenAI帶著以全新系列命名的模型o1一經發(fā)布，“會思考的大模型”再度成為焦點。

　　“我認為這次 o1模型發(fā)布最重要的信息是，AI 發(fā)展不僅沒有放緩，而且我們對未來幾年已經勝券在握。”對于o1的發(fā)布，奧特曼信心滿滿。

　　國內大模型廠商對o1的學習、超越任務也提上了日程。兩個多月之后，國內大模型公司紛紛效仿，相繼推出了各具特色的o1類深度思考模型。

　　無論是kimi的k0math、Deepseek的DeepSeek-R1-Lite，還是昆侖萬維推出的“天工大模型4.0”o1版，都在強調著國內大模型對大模型邏輯思考能力的重視。

　　國產大模型集體跟進o1

　　在OpenAI沒有披露o1具體技術的情況下，只用了2個月左右的時間，國內大模型公司就跟上了前沿方向的能力:

　　11月16日，月之暗面在發(fā)布會上公開了新模型k0math，通過采用強化學習和思維鏈推理技術，大模型開始試圖模擬人類的思考和反思過程，從而增強其數(shù)學推理能力。顧名思義，它在研究數(shù)學難題方面的能力可謂“遙遙領先”。

　　4天后，Deepseek的DeepSeek-R1-Lite正式上線。和OpenAI的o1相比，R1毫無保留地放出了大模型思考的完整過程。官方表示，R1的思維鏈長度可達數(shù)萬字。從官方測試結果來看，在AIME(美國數(shù)學競賽)、部分編程比賽的測試上，R1的表現(xiàn)超越了o1-Preview。Deepseek還直接在官網放出了測試版，允許用戶每天體驗50次對話。

　　就在上周三(11月27日)，昆侖萬維也放出了具有復雜思考推理能力的天工大模型4.0o1版(Skywork o1)，宣布它是國內首款實現(xiàn)中文邏輯推理的模型。它也一次性給出了三種模型版本:開源的Skywork O1Open、優(yōu)化中文支持能力的Skywork O1Lite，以及完整展現(xiàn)模型思考過程的Skywork O1Preview。

　　扎堆涌現(xiàn)的國產“o1”大模型們，不想只做簡單的“模型復刻”。

　　從模型測試跑出的指標分數(shù)來看，上述模型在數(shù)學、代碼等能力上的表現(xiàn)均逼近、甚至超過了o1:

　　以k0math為例，在中考、高考、考研以及包含入門競賽題的MATH等4個數(shù)學基準測試中，k0-math的成績超過了OpenAI的o1-mini和o1-preview模型。

　　不過，在一些難度更大的競賽測試題能力表現(xiàn)上，比如難度更大的競賽級別的數(shù)學題庫OMNI-MATH和AIME基準測試中，ko math表現(xiàn)還沒辦法趕上o1-mini。

　　能夠做出難度高的數(shù)學題，類o1的大模型們開始學會了“慢思考”。

　　通過在模型中引入思維鏈(CoT)，大模型將復雜問題拆解為多個小問題，開始模擬人類逐步推理的過程。這是在無人參與的情況下，由大模型獨立完成推理。強化學習使大模型能夠自行嘗試多種不同的解題方法并根據(jù)反饋調整策略，學習和反思的任務的任務，都交給了大模型。

　　和一般模型相比，此類產品在一些往常無法解決的問題上也能夠正確回答，比如“草莓strawberry”一共有幾個r、“9.11和9.9相比哪個大”等問題，交給o1，它能在一番思考后給出正確的答案。

　　比如，把“Responsibility中有幾個字母i?”的問題拋給Deepseek R1，在深度思考模式中，我們能夠看到大模型的思考過程:它先把單次拆解成一個個字母，再逐步比較每個字母是什么，最終給出了正確的結果。在測試中，R1的思考速度也夠快，用不到兩秒的時間給出了答案。

　　專精還是空中樓閣

　　o1的硬幣兩面

　　批量制造的“慢思考”大模型們，在強化學習和邏輯鏈的加成下，模型能力的表現(xiàn)突飛猛進。

　　在Deepseek公布的測試效果中，可以看到，DeepSeek-R1-Lite的推理時間和準確率成正比關系，即推理時長越長，跑出的效果就越好。和過往沒有“慢思考”能力的模型相比，R1的表現(xiàn)遠優(yōu)于前者。

　　在上述能力的加成下，大模型的自我反思、學習能力提升明顯。比如，面對陷阱時，模型可以通過思維鏈模式自行避開問題。

　　發(fā)布自研模型時，昆侖萬維給了大模型一個“陷阱”題目。讓它回答存在中文讀音“陷阱”的問題——“請將qíng rén yǎn lǐ chū xī shī轉換為中文”。在第一次思考得出結論時，大模型主動發(fā)現(xiàn)了“西詩”是不對的說法，通過推理找到了準確的翻譯結果。

　　一方面，慢思考模型大幅提升了大模型在一些特定學科上的表現(xiàn)，解決難題的能力進一步提升;另一方面，大量耗費tokens的方式卻未必能換來用戶需要的回報，這也是常被用戶詬病的一點。

　　在某些情況下，增加模型思維鏈的長度可以提高效率，因為模型能夠更深入地理解和解決問題。

　　然而，這并不意味著它在所有情況下都是最優(yōu)解。

　　比如，思考“1+1>2”這類常識性問題，顯然從效率和成本上來看，更適合用以往大模型的能力。這就需要大模型學會對問題難度自行進行判別，從而決定是否采用深度思考模式回答對應問題。

　　而在科學研究或復雜項目規(guī)劃中，增加思維鏈的長度可能是有益的。在這些情況下，深入理解各個變量及其相互作用，對于制定有效的策略和預測未來的結果至關重要。

　　此外，從特定場景下的強化學習應用轉向通用模型，在訓練算力和成本的平衡上或許還有一定難度。

　　從國內發(fā)布的模型來看，目前“慢思考”類大模型開發(fā)的基座模型參數(shù)不大。比如Deepseek和昆侖萬維給出的模型版本，都建立在規(guī)模量更小的模型上:Skywork o1Open基于Llama3.18B的開源模型，Deepseek也強調目前使用的是一個較小的基座模型，還無法完全釋放長思維鏈的潛力。

　　“一個大概率會確定的事情是，在訓練 RL 的階段，我們所需要的算力可能并不比預訓練要少，這可能是一個非共識。”談及o1時，階躍星辰CEO姜大昕曾經提到過這個問題。

　　未來的大模型不應該花費大量精力在簡單的問題上，要想跑出真正能夠釋放思維鏈能力的模型，還需要一定時間。

　　突破AGI二階段

　　國內加速探索產品落地

　　大廠們?yōu)槭裁磳�o1視為了下一個必備項?

　　在OpenAI和智譜給出的“通往AGI五階段”的定義中，兩家公司均將多模態(tài)和大語言模型能力歸在L1階段，也就是最為基礎的能力配備。

　　而o1的出現(xiàn)，則標志著大模型能力突破到了L2階段。自此，大模型開始真正擁有了邏輯思維能力，在無人力干預的情況下進行規(guī)劃、驗證和反思。

　　當下，雖然海外以OpenAI為代表，率先實現(xiàn)了“慢思考”大模型能力的實現(xiàn)，但國內廠商在后續(xù)追趕的思路上想的更多。在同步跟進o1類產品的同時，大模型公司們已經在思考如何將o1的能力和現(xiàn)有AI應用方向結合。

　　針對大模型訓練進展停滯的疑慮，可以看到，在數(shù)據(jù)枯竭的情況下，o1能夠為Scaling Law提供新的支撐。

　　此前，大模型訓練已經走入了“無數(shù)據(jù)可用”的困境。當可用的優(yōu)質數(shù)據(jù)資源變得越來越有限，給依賴大量數(shù)據(jù)進行訓練的AI大模型帶來了挑戰(zhàn)。

　　更多大模型公司的加入，或將聯(lián)手探索出更大的可能性。“o1已經 scale 到了一個很大的規(guī)模，我認為它帶來了一個 Scaling 技術的新范式，不妨稱之為 RL Scaling。而且 o1還不成熟，它還是一個開端。”姜大昕說。

　　在現(xiàn)有的一些AI應用上，思維鏈的能力已經幫助提升了AI技術的使用效果。

　　以智譜的“會反思的AI搜索”為例，結合思維鏈能力，讓AI能夠將復雜問題拆解成多個步驟，進行逐步搜索和推理。通過聯(lián)網搜索 + 深度推理，再將所有答案信息綜合整理到一起，AI能夠給到一個更加精準的答案，

　　當大模型開始學會“自我思考”，通往L3(Agent)的大門也正在被大模型公司們推開。

　　“從L1到L2花了一段時間，但我認為L2最令人興奮的事情之一是它能夠相對快速地實現(xiàn)L3，我們預計這種技術最終將帶來的智能體將非常有影響力。”談及o1，Sam Altman肯定了“慢思考”模型對推動智能體發(fā)展的潛力。

　　在智能體的能力實現(xiàn)上，思維鏈是智能體功能的重要一步。應用思維鏈能力，大模型才能對接受到的任務進行規(guī)劃，將復雜的需求拆解成多個步驟，支撐智能體的任務規(guī)劃。

　　最近涌現(xiàn)的一批“自主智能體”產品就是Agent能力的突破:通過將執(zhí)行任務拆解到極致，AI開始學會像人一樣用手機、電腦，幫助用戶完成跨應用操作。智譜、榮耀等公司推出的智能體，已經可以通過指令幫用戶完成點單購買的任務。

　　但以目前的情況，開發(fā)者還需要具體結合o1類產品的能力，去調整智能體的輸出效果，讓它更接近人類的使用習慣。

　　在如何不過度思考的情況下，平衡大模型的推理進化和用戶對效率的需求?這是楊植麟幾個月前在云棲大會上的提問，這個問題，還需要留給國內大模型廠商們繼續(xù)解決。