智譜AI的AutoGLM后，Google和微軟也下場來做“賈維斯”了

　　昨天，微軟忽然發(fā)布了一個新的模型，能夠用于網(wǎng)頁自動化操作。

　　他們也正式開卷跟智譜AutoGLM一樣自主人工智能了。

　　而前天，我也在The Information網(wǎng)站上看到一個消息:

　　標題Google Preps AI That Takes Over Computers，翻譯過來就是:

　　谷歌準備推出接管計算機的人工智能。

　　上周三Claude、周五智譜AI、周末Google，然后微軟。

　　短短一周內(nèi)，已經(jīng)有四個公司爆出來要發(fā)布類似的產(chǎn)品了，其中三個已經(jīng)悄悄發(fā)布產(chǎn)品:Anthropic的Claude，智譜的AutoGLM和微軟的OmniParser。這些產(chǎn)品的能力有目共睹。

　　Goolge雖然也只是個爆料，但是大概率今年就能出來，非常心急，想把坑先占上。

　　而且，我知道的消息是，OpenAI內(nèi)部肯定也在做，就看什么時候掏出來了。

　　二級市場對于這種自主人工智能，反饋也非常的正。上周五智譜的AutoGLM出來之后，在金融圈直接爆了，連智譜AI概念股都出來了。

　　自主人工智能，好像瞬間點燃了AI圈的熱情。

　　又開啟了新一輪的用戶心智的搶占。

　　畢竟剛剛開卷，哪家最早發(fā)，哪家確實就是會有優(yōu)勢。

　　不過自主人工智能的熱度確實有點超乎了我的想象。

　　不過也能理解，類似于這種你發(fā)個指令他就會全自動化去處理的AI，才符合我們對人工智能的真正的期待，才有一點，那種AI變成現(xiàn)實的感覺。

　　現(xiàn)在的AI，坦率的講，雖然有一些智能，但是遠遠離不開人工，完全沒有達到解放雙手的目的，絕大多數(shù)時候都是“人工”+“智能”。

　　而且對于各家AI公司來說，底層模型的能力已經(jīng)卷到一定的瓶頸了，看現(xiàn)在大模型的一些榜單，大家也一點不關(guān)心了。

　　需要一些更科幻的，更新鮮的刺激。

　　所以這個時候，自主人工智能過來接棒，就很香。

　　而自主人工智能完成任務(wù)的一個大致流程是:

　　理解用戶的需求-》系統(tǒng)規(guī)劃-》調(diào)用工具執(zhí)行任務(wù)-》目標完成

　　這個流程看起來其實不復雜。

　　一年多前，就有人在做了，最經(jīng)典的那個項目，github上狂攬十六萬星的噬星狂魔AutoGPT。

　　但是AutoGPT到后面開始沉寂，其實有個很大的問題，就是完全基于大語言模型做的。

　　這個就有很多的局限性。

　　比如，純粹的語言模型只能處理文本，而現(xiàn)在很多任務(wù)比如點外賣，打車都需要讀取屏幕信息。大語言模型本身不能直接處理，往往需要多加一步將圖片轉(zhuǎn)換為文本輸入。

　　而圖片轉(zhuǎn)換為文字后，對于大語言模型又會丟失很多信息。

　　好比你被蒙著雙眼，只是語言告訴你屋里有些什么，無論語言描述多么細節(jié)，你想象力多么豐富，腦海里都無法還原得與真實一模一樣。

　　模型的可控性比較差，模型就容易懵逼，導致任務(wù)中斷，或干脆給你隨機發(fā)揮，聽天由命。

　　所以AutoGPT能做到的事情還是比較少，效果也沒有那么好，慢慢就淡出大家的視野了。

　　直到最近這波新的自主人工智能浪潮。

　　但是我也挺好奇一個問題，就是這將近一年半的時間，自主人工智能為啥都什么消息，直到最近，才開始密集發(fā)聲?

　　是各家都在卷其他賽道，無暇顧及，還是都在做，只不過遇到了瓶頸，最近才有所突破?

　　我就去密集咨詢幾家國內(nèi)AI大廠的朋友。

　　其實大家口徑也都出奇的一致。

　　就是大家都在穩(wěn)步推進，只是最近剛好到了一個可以拿出來用的時間點，而且大家的進展其實也沒有差異太多。

　　而這一年半，自主人工智能沒咋出現(xiàn)在公眾視野，看起來進展很緩慢的樣子，其實有兩個最主要的原因。

　　多模態(tài)模型不夠成熟。

　　2. 缺太多行為數(shù)據(jù)了。

　　第一個點其實很好理解。

　　就是你不能讓模型蒙著眼睛去規(guī)劃任務(wù)，他都不知道屏幕上面的元素長啥樣，純粹靠文字來描述，這個效果肯定很差。

　　所以推進這塊，必須要有很強的多模態(tài)模型的基座能力作為基礎(chǔ)。

　　而多模態(tài)的模型，訓起來其實就比純粹的大語言模型復雜多了。數(shù)據(jù)量、資源的消耗都是指數(shù)級增長。本身就是慢，連Claude都是今年3月才上線多模態(tài)能力的。

　　所以在模型基座上，就是會很拖沓，這個是客觀的事實，不過最近幾個月，大家的多模態(tài)模型已經(jīng)基本都能用了，所以基座模型層面，其實就是剛好到了一個節(jié)點。

　　去調(diào)研的智譜的大佬，也給出了我們同樣的答案。

　　第二個原因，其實就是數(shù)據(jù)上。

　　雖然互聯(lián)網(wǎng)包含大量的人類知識，但主要由靜態(tài)信息(圖片、文字)組成，這些靜態(tài)信息無法反應(yīng)一些動態(tài)的過程。

　　比如，模型可以學習理解外賣界面上的脆皮炸雞是多少錢。因為網(wǎng)上有大量的靜態(tài)數(shù)據(jù)教會它錢是什么、能干什么。模型可以理解“錢是能買到炸雞的”。

　　但缺乏動態(tài)數(shù)據(jù)教它怎么“找到美團App，點開App，如何搜索脆皮炸雞，然后點擊下單”的這樣一個動態(tài)過程。

　　這個其實就跟o1的那套推理的路很像，模型不僅要知道結(jié)果，還要知道其中的過程。

　　整個自主人工智能的操作路徑，其實就是一個多模態(tài)的巨型思維鏈。

　　o1和claude給大家打了個樣，證明了強化學習這條路是對的，那強化基座模型的推理能力是一個應(yīng)用方向，而做這種真正的Agent，又是一個強化學習應(yīng)用的典型場景。

　　一個偏基模，一個偏應(yīng)用。

　　而這套通過強化學習補充數(shù)據(jù)的范式，其實也就是今年3、4月以后，才逐漸形成的業(yè)內(nèi)共識。

　　所以，著就能解釋，為什么過去一年半的時候，這種自主人工智能一直沒啥進展，直到最近才密集發(fā)聲，其實就是多模態(tài)基座和數(shù)據(jù)的原因。

　　最后，再簡單說說AutoGLM這種能力，大概是怎么實現(xiàn)的，具體細節(jié)他們也都沒透露，我只能根據(jù)我的調(diào)研結(jié)果，進行一些猜測，不過AutoGLM團隊最近應(yīng)該會發(fā)個技術(shù)報告，到時候可以關(guān)注一下。

　　比如一個最簡的例子，說:微信發(fā)送“今天瘋狂星期四V我50”的消息給鮮蝦包。

　　那么大模型拿到任務(wù)后，會一邊看當前屏幕的界面，一邊利用思維鏈一步一步推理:

　　任務(wù)可以在當前的UI界面下繼續(xù)進行嗎?是的話進行第2步，否的話就會思考“應(yīng)該打開什么界面”然后進行下一步動作。

　　分析當前UI和最終任務(wù)的關(guān)系，分解成一步一步的動作”

　　現(xiàn)在首先需要填充輸入框“今天瘋狂星期四V我50”

　　然后點擊“發(fā)送”

　　然后思考問題是否最終被解決?如果是的話結(jié)束，如果否的話回到第1步繼續(xù)循環(huán)。

　　這一切，都建立在模型能看到屏幕，能理解屏幕上那些亂七八糟的元素的基礎(chǔ)上。他不僅需要復雜的規(guī)劃能力，還需要直到這個是按鈕，這個是單選控件，這個是表單，這個是開關(guān)等等。

　　而滑動這個操作，反而是最麻煩的，人看起來很簡單，是因為人對于UI界面，已經(jīng)有數(shù)十年的經(jīng)驗了，滑動本身就是預測的過程，我們根據(jù)我的經(jīng)驗，大概能猜到這一屏如果沒有我要的信息，那他可能是在下一屏。

　　所以我們會進行一個滑動操作，但是對于AI來說，這個預測，反而是最難的。

　　所以后面，需要繼續(xù)灌數(shù)據(jù)，灌大量的行為性數(shù)據(jù)，形成泛化能力。

　　讓AI，有跟人類一樣的，UI常識，和對交互的可預測性。

　　雖然目前不是那么完美。

　　Claude的Computer Use和智譜的AutoGLM，都有自己的一堆問題，也遠遠沒到一個算是完美產(chǎn)品的地步。

　　但這畢竟也只是剛剛開始。

　　當一切路徑明確。

　　兩個月時間。

　　可能，一切就變天了。