智譜AI的AutoGLM后，Google和微軟也下場(chǎng)來做“賈維斯”了

　　昨天，微軟忽然發(fā)布了一個(gè)新的模型，能夠用于網(wǎng)頁自動(dòng)化操作。

　　他們也正式開卷跟智譜AutoGLM一樣自主人工智能了。

　　而前天，我也在The Information網(wǎng)站上看到一個(gè)消息:

　　標(biāo)題Google Preps AI That Takes Over Computers，翻譯過來就是:

　　谷歌準(zhǔn)備推出接管計(jì)算機(jī)的人工智能。

　　上周三Claude、周五智譜AI、周末Google，然后微軟。

　　短短一周內(nèi)，已經(jīng)有四個(gè)公司爆出來要發(fā)布類似的產(chǎn)品了，其中三個(gè)已經(jīng)悄悄發(fā)布產(chǎn)品:Anthropic的Claude，智譜的AutoGLM和微軟的OmniParser。這些產(chǎn)品的能力有目共睹。

　　Goolge雖然也只是個(gè)爆料，但是大概率今年就能出來，非常心急，想把坑先占上。

　　而且，我知道的消息是，OpenAI內(nèi)部肯定也在做，就看什么時(shí)候掏出來了。

　　二級(jí)市場(chǎng)對(duì)于這種自主人工智能，反饋也非常的正。上周五智譜的AutoGLM出來之后，在金融圈直接爆了，連智譜AI概念股都出來了。

　　自主人工智能，好像瞬間點(diǎn)燃了AI圈的熱情。

　　又開啟了新一輪的用戶心智的搶占。

　　畢竟剛剛開卷，哪家最早發(fā)，哪家確實(shí)就是會(huì)有優(yōu)勢(shì)。

　　不過自主人工智能的熱度確實(shí)有點(diǎn)超乎了我的想象。

　　不過也能理解，類似于這種你發(fā)個(gè)指令他就會(huì)全自動(dòng)化去處理的AI，才符合我們對(duì)人工智能的真正的期待，才有一點(diǎn)，那種AI變成現(xiàn)實(shí)的感覺。

　　現(xiàn)在的AI，坦率的講，雖然有一些智能，但是遠(yuǎn)遠(yuǎn)離不開人工，完全沒有達(dá)到解放雙手的目的，絕大多數(shù)時(shí)候都是“人工”+“智能”。

　　而且對(duì)于各家AI公司來說，底層模型的能力已經(jīng)卷到一定的瓶頸了，看現(xiàn)在大模型的一些榜單，大家也一點(diǎn)不關(guān)心了。

　　需要一些更科幻的，更新鮮的刺激。

　　所以這個(gè)時(shí)候，自主人工智能過來接棒，就很香。

　　而自主人工智能完成任務(wù)的一個(gè)大致流程是:

　　理解用戶的需求-》系統(tǒng)規(guī)劃-》調(diào)用工具執(zhí)行任務(wù)-》目標(biāo)完成

　　這個(gè)流程看起來其實(shí)不復(fù)雜。

　　一年多前，就有人在做了，最經(jīng)典的那個(gè)項(xiàng)目，github上狂攬十六萬星的噬星狂魔AutoGPT。

　　但是AutoGPT到后面開始沉寂，其實(shí)有個(gè)很大的問題，就是完全基于大語言模型做的。

　　這個(gè)就有很多的局限性。

　　比如，純粹的語言模型只能處理文本，而現(xiàn)在很多任務(wù)比如點(diǎn)外賣，打車都需要讀取屏幕信息。大語言模型本身不能直接處理，往往需要多加一步將圖片轉(zhuǎn)換為文本輸入。

　　而圖片轉(zhuǎn)換為文字后，對(duì)于大語言模型又會(huì)丟失很多信息。

　　好比你被蒙著雙眼，只是語言告訴你屋里有些什么，無論語言描述多么細(xì)節(jié)，你想象力多么豐富，腦海里都無法還原得與真實(shí)一模一樣。

　　模型的可控性比較差，模型就容易懵逼，導(dǎo)致任務(wù)中斷，或干脆給你隨機(jī)發(fā)揮，聽天由命。

　　所以AutoGPT能做到的事情還是比較少，效果也沒有那么好，慢慢就淡出大家的視野了。

　　直到最近這波新的自主人工智能浪潮。

　　但是我也挺好奇一個(gè)問題，就是這將近一年半的時(shí)間，自主人工智能為啥都什么消息，直到最近，才開始密集發(fā)聲?

　　是各家都在卷其他賽道，無暇顧及，還是都在做，只不過遇到了瓶頸，最近才有所突破?

　　我就去密集咨詢幾家國內(nèi)AI大廠的朋友。

　　其實(shí)大家口徑也都出奇的一致。

　　就是大家都在穩(wěn)步推進(jìn)，只是最近剛好到了一個(gè)可以拿出來用的時(shí)間點(diǎn)，而且大家的進(jìn)展其實(shí)也沒有差異太多。

　　而這一年半，自主人工智能沒咋出現(xiàn)在公眾視野，看起來進(jìn)展很緩慢的樣子，其實(shí)有兩個(gè)最主要的原因。

　　多模態(tài)模型不夠成熟。

　　2. 缺太多行為數(shù)據(jù)了。

　　第一個(gè)點(diǎn)其實(shí)很好理解。

　　就是你不能讓模型蒙著眼睛去規(guī)劃任務(wù)，他都不知道屏幕上面的元素長啥樣，純粹靠文字來描述，這個(gè)效果肯定很差。

　　所以推進(jìn)這塊，必須要有很強(qiáng)的多模態(tài)模型的基座能力作為基礎(chǔ)。

　　而多模態(tài)的模型，訓(xùn)起來其實(shí)就比純粹的大語言模型復(fù)雜多了。數(shù)據(jù)量、資源的消耗都是指數(shù)級(jí)增長。本身就是慢，連Claude都是今年3月才上線多模態(tài)能力的。

　　所以在模型基座上，就是會(huì)很拖沓，這個(gè)是客觀的事實(shí)，不過最近幾個(gè)月，大家的多模態(tài)模型已經(jīng)基本都能用了，所以基座模型層面，其實(shí)就是剛好到了一個(gè)節(jié)點(diǎn)。

　　去調(diào)研的智譜的大佬，也給出了我們同樣的答案。

　　第二個(gè)原因，其實(shí)就是數(shù)據(jù)上。

　　雖然互聯(lián)網(wǎng)包含大量的人類知識(shí)，但主要由靜態(tài)信息(圖片、文字)組成，這些靜態(tài)信息無法反應(yīng)一些動(dòng)態(tài)的過程。

　　比如，模型可以學(xué)習(xí)理解外賣界面上的脆皮炸雞是多少錢。因?yàn)榫W(wǎng)上有大量的靜態(tài)數(shù)據(jù)教會(huì)它錢是什么、能干什么。模型可以理解“錢是能買到炸雞的”。

　　但缺乏動(dòng)態(tài)數(shù)據(jù)教它怎么“找到美團(tuán)App，點(diǎn)開App，如何搜索脆皮炸雞，然后點(diǎn)擊下單”的這樣一個(gè)動(dòng)態(tài)過程。

　　這個(gè)其實(shí)就跟o1的那套推理的路很像，模型不僅要知道結(jié)果，還要知道其中的過程。

　　整個(gè)自主人工智能的操作路徑，其實(shí)就是一個(gè)多模態(tài)的巨型思維鏈。

　　o1和claude給大家打了個(gè)樣，證明了強(qiáng)化學(xué)習(xí)這條路是對(duì)的，那強(qiáng)化基座模型的推理能力是一個(gè)應(yīng)用方向，而做這種真正的Agent，又是一個(gè)強(qiáng)化學(xué)習(xí)應(yīng)用的典型場(chǎng)景。

　　一個(gè)偏基模，一個(gè)偏應(yīng)用。

　　而這套通過強(qiáng)化學(xué)習(xí)補(bǔ)充數(shù)據(jù)的范式，其實(shí)也就是今年3、4月以后，才逐漸形成的業(yè)內(nèi)共識(shí)。

　　所以，著就能解釋，為什么過去一年半的時(shí)候，這種自主人工智能一直沒啥進(jìn)展，直到最近才密集發(fā)聲，其實(shí)就是多模態(tài)基座和數(shù)據(jù)的原因。

　　最后，再簡(jiǎn)單說說AutoGLM這種能力，大概是怎么實(shí)現(xiàn)的，具體細(xì)節(jié)他們也都沒透露，我只能根據(jù)我的調(diào)研結(jié)果，進(jìn)行一些猜測(cè)，不過AutoGLM團(tuán)隊(duì)最近應(yīng)該會(huì)發(fā)個(gè)技術(shù)報(bào)告，到時(shí)候可以關(guān)注一下。

　　比如一個(gè)最簡(jiǎn)的例子，說:微信發(fā)送“今天瘋狂星期四V我50”的消息給鮮蝦包。

　　那么大模型拿到任務(wù)后，會(huì)一邊看當(dāng)前屏幕的界面，一邊利用思維鏈一步一步推理:

　　任務(wù)可以在當(dāng)前的UI界面下繼續(xù)進(jìn)行嗎?是的話進(jìn)行第2步，否的話就會(huì)思考“應(yīng)該打開什么界面”然后進(jìn)行下一步動(dòng)作。

　　分析當(dāng)前UI和最終任務(wù)的關(guān)系，分解成一步一步的動(dòng)作”

　　現(xiàn)在首先需要填充輸入框“今天瘋狂星期四V我50”

　　然后點(diǎn)擊“發(fā)送”

　　然后思考問題是否最終被解決?如果是的話結(jié)束，如果否的話回到第1步繼續(xù)循環(huán)。

　　這一切，都建立在模型能看到屏幕，能理解屏幕上那些亂七八糟的元素的基礎(chǔ)上。他不僅需要復(fù)雜的規(guī)劃能力，還需要直到這個(gè)是按鈕，這個(gè)是單選控件，這個(gè)是表單，這個(gè)是開關(guān)等等。

　　而滑動(dòng)這個(gè)操作，反而是最麻煩的，人看起來很簡(jiǎn)單，是因?yàn)槿藢?duì)于UI界面，已經(jīng)有數(shù)十年的經(jīng)驗(yàn)了，滑動(dòng)本身就是預(yù)測(cè)的過程，我們根據(jù)我的經(jīng)驗(yàn)，大概能猜到這一屏如果沒有我要的信息，那他可能是在下一屏。

　　所以我們會(huì)進(jìn)行一個(gè)滑動(dòng)操作，但是對(duì)于AI來說，這個(gè)預(yù)測(cè)，反而是最難的。

　　所以后面，需要繼續(xù)灌數(shù)據(jù)，灌大量的行為性數(shù)據(jù)，形成泛化能力。

　　讓AI，有跟人類一樣的，UI常識(shí)，和對(duì)交互的可預(yù)測(cè)性。

　　雖然目前不是那么完美。

　　Claude的Computer Use和智譜的AutoGLM，都有自己的一堆問題，也遠(yuǎn)遠(yuǎn)沒到一個(gè)算是完美產(chǎn)品的地步。

　　但這畢竟也只是剛剛開始。

　　當(dāng)一切路徑明確。

　　兩個(gè)月時(shí)間。

　　可能，一切就變天了。