【新智元導(dǎo)讀】一張圖揭示了AI算力70多年發(fā)展了6.7億倍,未來(lái)AI各方面能力將全面超越人類,而真正令人期待的是,AI行業(yè)才剛剛進(jìn)入爆發(fā)前的萌芽期。
電子計(jì)算機(jī)于上世紀(jì)40年代誕生,而在計(jì)算機(jī)出現(xiàn)后的10年內(nèi),人類歷史上的第一個(gè)AI應(yīng)用就出現(xiàn)了。
70多年過(guò)去了,AI模型現(xiàn)在不僅能寫詩(shī),還能根據(jù)文本提示生成圖像,甚至是幫助人類發(fā)現(xiàn)未知的蛋白質(zhì)結(jié)構(gòu)。
那么,是什么推動(dòng)了AI技術(shù)在如此短時(shí)間內(nèi)的指數(shù)級(jí)增長(zhǎng)呢?
一張來(lái)自「我們數(shù)據(jù)中的世界」(Our World in Data)的長(zhǎng)圖,通過(guò)用于訓(xùn)練AI模型的算力變化為刻度,對(duì)AI發(fā)展歷史進(jìn)行了追溯。
高清大圖:https://www.visualcapitalist.com/wp-content/uploads/2023/09/01.-CP_AI-Computation-History_Full-Sized.html
圖中數(shù)據(jù)的來(lái)源,是源于一篇由MIT等大學(xué)研究人員發(fā)表的論文。
論文地址:https://arxiv.org/pdf/2202.05924.pdf
除了論文之外,還有一個(gè)研究團(tuán)隊(duì)根據(jù)這篇論文數(shù)據(jù)做了一個(gè)可視化的表格,可以隨意縮放圖標(biāo)來(lái)獲取精細(xì)的數(shù)據(jù)
表格地址:https://epochai.org/blog/compute-trends#compute-trends-are-slower-than-previously-reported
圖表的作者主要通過(guò)計(jì)算運(yùn)算次數(shù)以及GPU時(shí)間來(lái)估計(jì)訓(xùn)練每個(gè)模型的計(jì)算量,而對(duì)于選擇哪一個(gè)模型作為重要模型的代表,作者主要通過(guò)3個(gè)性質(zhì)來(lái)確定:
顯著的重要性:某個(gè)系統(tǒng)具有重大歷史影響,顯著提高了SOTA,或者被引用次數(shù)超過(guò) 1000次。
相關(guān)性:作者只收錄了包含實(shí)驗(yàn)結(jié)果和關(guān)鍵機(jī)器學(xué)習(xí)組成部分的論文,并且論文目標(biāo)是推動(dòng)現(xiàn)有SOTA發(fā)展。
獨(dú)特性:如果描述同一系統(tǒng)的另一篇論文更具影響力,那么該論文將被從作者的數(shù)據(jù)集中排除。
AI發(fā)展的三個(gè)時(shí)代
在1950年代,美國(guó)數(shù)學(xué)家Claude Shannon訓(xùn)練了一個(gè)名為Theseus的機(jī)器老鼠,使其能在迷宮中導(dǎo)航并記住路徑—這是第一個(gè)人工學(xué)習(xí)的實(shí)例。
Theseus的構(gòu)建基于40個(gè)浮點(diǎn)運(yùn)算(FLOPs)。FLOPs通常用作衡量計(jì)算機(jī)硬件計(jì)算性能的指標(biāo)。FLOP數(shù)量越高,計(jì)算能力越強(qiáng),系統(tǒng)也越強(qiáng)大。
計(jì)算能力、可用的訓(xùn)練數(shù)據(jù)和算法是AI進(jìn)步的三大要素。而在AI發(fā)展的最初幾十年里,所需的計(jì)算能力是按照摩爾定律增長(zhǎng)的——計(jì)算能力也在大約20個(gè)月的時(shí)間翻一倍。
然而,在2012年由AlexNet(一個(gè)圖像識(shí)別AI)標(biāo)志著深度學(xué)習(xí)時(shí)代的開(kāi)始時(shí),這個(gè)翻倍時(shí)間大大縮短到了六個(gè)月,因?yàn)檠芯咳藛T加大了對(duì)計(jì)算和處理器的投資。
隨著2015年AlphaGo的出現(xiàn)——一個(gè)擊敗了人類職業(yè)圍棋選手的計(jì)算機(jī)程序——研究人員發(fā)現(xiàn)了第三個(gè)時(shí)代:大規(guī)模AI模型時(shí)代到來(lái)了,它的計(jì)算需求比以前所有的AI系統(tǒng)都要大。
未來(lái)AI技術(shù)的進(jìn)展
回顧最近的十年,計(jì)算能力的增長(zhǎng)是如此之快,簡(jiǎn)直令人難以置信。
例如,用于訓(xùn)練Minerva(一個(gè)可以解決復(fù)雜數(shù)學(xué)問(wèn)題的AI)的計(jì)算能力幾乎是十年前用于訓(xùn)練AlexNet的600萬(wàn)倍。
這種計(jì)算增長(zhǎng),加上大量可用的數(shù)據(jù)集和更好的算法,令A(yù)I在極短的時(shí)間內(nèi)取得了大量進(jìn)展。如今,AI不僅能達(dá)到人的表現(xiàn)水平,甚至在很多領(lǐng)域超過(guò)了人類。
AI能力將在方方面面不斷超越人類
從上圖可以清楚地看出,人工智能在很多領(lǐng)域已經(jīng)超越了人類的表現(xiàn),并且在其他方面也將很快超越人類的表現(xiàn)。
下圖展示了在常見(jiàn)的人類日常工作和生活會(huì)使用到的能力中,AI在哪一年已經(jīng)達(dá)到或者超過(guò)了人類水平。
AI技術(shù)發(fā)展勢(shì)能充足
難以說(shuō)計(jì)算增長(zhǎng)是否會(huì)保持相同的速度。大規(guī)模模型需要越來(lái)越多的算力來(lái)訓(xùn)練,如果算力供應(yīng)不能繼續(xù)增長(zhǎng),可能會(huì)減緩AI技術(shù)發(fā)展的進(jìn)度。
同樣,耗盡目前可用于訓(xùn)練AI模型的所有數(shù)據(jù)也可能妨礙新模型的開(kāi)發(fā)和實(shí)施。
然而,2023年,大量資本涌入AI行業(yè),尤其是以大語(yǔ)言模型為代表的生成式AI;蛟S更多的突破即將出現(xiàn),似乎以上3個(gè)促進(jìn)AI技術(shù)發(fā)展的元素都將在未來(lái)進(jìn)一步得到優(yōu)化和發(fā)展。
2023年上半年,AI行業(yè)的初創(chuàng)公司融資規(guī)模達(dá)到了140億美元,甚至比過(guò)去4年獲得的融資總和還要多。
而大量(78%)的生成式AI初創(chuàng)公司都還處于發(fā)展非常早期的階段,甚至27%的生成式AI初創(chuàng)公司公司還沒(méi)有進(jìn)行融資。
360多家生成式人工智能公司,27% 尚未進(jìn)行融資。超過(guò)一半是 輪或更早的項(xiàng)目,說(shuō)明整個(gè)生成式AI行業(yè)還屬于非常早期的階段。
由于開(kāi)發(fā)大型語(yǔ)言模型的資本密集型性質(zhì),自 2022 年第三季度以來(lái),生成式AI基礎(chǔ)設(shè)施類別已獲得超過(guò) 70% 的資金,僅占所有生成式AI交易量的10%。大部分資金源于投資者對(duì)基礎(chǔ)模型和API、MLOps(機(jī)器學(xué)習(xí)操作)以及向量數(shù)據(jù)庫(kù)技術(shù)等新興基礎(chǔ)設(shè)施的興趣。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國(guó)柏林國(guó)際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場(chǎng)的強(qiáng)大影響力。
近日,中國(guó)家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開(kāi)幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無(wú)人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開(kāi)放原子開(kāi)源基金會(huì)主辦的“2024全球開(kāi)發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。