谷歌內(nèi)部文件顯示：鷸蚌相爭(zhēng)，開源得利

　　5月5日消息，曾幾何時(shí)，谷歌一度被業(yè)界認(rèn)定為 AI 行業(yè)的領(lǐng)先者，其2017 年率先發(fā)布 Transformer 奠定了 大語言模型 LLM 的基石，2021 年聊天機(jī)器人 LaMDA 的亮相更是一度驚艷圈內(nèi)。

　　不曾想，最終搶得先機(jī)的卻是 OpenAI 這匹“黑馬”，而谷歌反倒從 AI 領(lǐng)域的“老大哥”淪為了被動(dòng)的“追趕者”。究竟誰會(huì)最終贏得這場(chǎng) AI 大戰(zhàn)，是谷歌還是OpenAI?

　　近來在 Discord 群組由匿名人士泄露的一份谷歌內(nèi)部文件給出了第三個(gè)可能：“我們沒有贏得這場(chǎng)競(jìng)爭(zhēng)，OpenAI 也沒有。當(dāng)我們還在爭(zhēng)吵時(shí)，第三個(gè)方已經(jīng)悄悄地?fù)屃宋覀兊娘埻?mdash;—開源。”

　　據(jù)CSDN報(bào)道，開源正在超越谷歌和 OpenAI，這兩家所認(rèn)為的“主要開放問題”如今已經(jīng)解決，并已投入使用。雖然兩家的模型當(dāng)下在質(zhì)量方面仍略勝一籌，但差距正在驚人地縮小。開源模型更快、更可定制、更私密，能力也更強(qiáng)大。

　　開源能用 100 美元和 13B 參數(shù)做到谷歌和 OpenAI 花費(fèi) 1000 萬美元和 540B 參數(shù)都難以達(dá)成的事情。而且只需要幾周就能完成任務(wù)，而不是幾個(gè)月。

　　當(dāng)免費(fèi)、無限制的替代品在質(zhì)量上相當(dāng)時(shí)，人們不會(huì)為一個(gè)受限制的模式付費(fèi)。谷歌應(yīng)該考慮自己的附加值究竟在哪里。

　　從長(zhǎng)遠(yuǎn)來看，最好的模型是可以快速迭代改進(jìn)的模型�，F(xiàn)在，既然知道了 20B 參數(shù)范圍內(nèi)可能實(shí)現(xiàn)什么，小變體就不應(yīng)再被視為事后補(bǔ)救措施了。

　　3月初，開源社區(qū)得到了他們的第一個(gè)真正有能力的基礎(chǔ)模型——Meta 的 LLaMA 模型被意外泄露了。它沒有指令或?qū)υ捳{(diào)整，也沒有 RLHF (人類反饋強(qiáng)化學(xué)習(xí))。

　　隨后，巨大的創(chuàng)新涌現(xiàn)出來，在短短不到一個(gè)月的時(shí)間里，已經(jīng)出現(xiàn)了具備指令調(diào)整、量化、質(zhì)量改進(jìn)、人類評(píng)估、多模態(tài)和 RLHF 等變體，其中許多都是相互建立的。

　　最重要的是，開源社區(qū)解決了擴(kuò)展問題，在一定程度上任何人都可以進(jìn)行實(shí)驗(yàn)。許多新想法來自普通人，培訓(xùn)和實(shí)驗(yàn)門檻從主要研究機(jī)構(gòu)總產(chǎn)出降至一個(gè)人、一個(gè)晚上和一臺(tái)強(qiáng)大的筆記本電腦。

　　據(jù)了解，目前開源 LLM 的復(fù)興是緊隨圖像生成的復(fù)興而來的，許多人稱其為 LLM 的“Stable Diffusion(開源文本生成圖像模型) 時(shí)刻”。

　　在兩種情況下，低成本公共參與得以實(shí)現(xiàn)，原因是有了名為低秩適應(yīng)(LoRA)的大幅度降價(jià)機(jī)制，并結(jié)合規(guī)模上的重大突破。在這兩種情況下，獲得足夠高質(zhì)量模型啟動(dòng)了世界各地個(gè)人和機(jī)構(gòu)涌現(xiàn)出一系列想法和迭代。

　　這些貢獻(xiàn)在圖像生成領(lǐng)域非常關(guān)鍵，使 Stable Diffusion 走上了與 Dall-E (OpenAI基于Transformer的語言模型，可根據(jù)文本生成圖像)不同的道路，使其擁有一個(gè)開放的模式，導(dǎo)致了產(chǎn)品整合、市場(chǎng)、用戶界面和創(chuàng)新，而這些都是 Dall-E 沒有的。

　　其效果可想而知：文化影響力迅速占據(jù)主導(dǎo)地位，OpenAI 解決方案變得越來越無關(guān)緊要。同樣的事情是否會(huì)發(fā)生在 LLM 上還有待觀察，但廣泛的結(jié)構(gòu)元素是相同的。

　　LoRA 更新非常便宜(約 100 美元)，這意味著幾乎任何有想法的人都可以生成并分發(fā)一個(gè)。訓(xùn)練時(shí)間少于一天是正常的，在這種速度下，所有這些微調(diào)的累積效應(yīng)不需要很長(zhǎng)時(shí)間就可以克服開始時(shí)的劣勢(shì)。

　　事實(shí)上，就工程師時(shí)間而言，這些模型的改進(jìn)速度遠(yuǎn)遠(yuǎn)超過了谷歌所能做到的，而且最好的模型已經(jīng)與 ChatGPT 基本沒有區(qū)別了。專注于維護(hù)全球一些最大規(guī)模的模型實(shí)際上會(huì)使谷歌處于不利地位。

　　對(duì)此，得克薩斯大學(xué)奧斯汀分校教授Alex Dimakis認(rèn)為，開源 AI 正在取得勝利，對(duì)于全世界來說這是件好事，對(duì)于構(gòu)建一個(gè)有競(jìng)爭(zhēng)力的生態(tài)系統(tǒng)來說也是好事。