人工智能領(lǐng)域的深度學(xué)習(xí)模型越具有開創(chuàng)性,它們的規(guī)模就越大。今年最熱門的自主語言處理模型GPT-3就是一個(gè)很好的例子。為了達(dá)到像人類一樣書寫的準(zhǔn)確性和速度水平,這個(gè)模型需要1750億個(gè)參數(shù)、350 GB內(nèi)存和至少1200萬美元資金的投入。但是,除了成本之外,像這樣的大型人工智能模型還面臨一個(gè)巨大的能耗問題。
馬薩諸塞大學(xué)阿默斯特分校的研究人員發(fā)現(xiàn),訓(xùn)練一個(gè)大型人工智能模型所需的計(jì)算能力可以產(chǎn)生超過60萬磅的二氧化碳排放——這是一輛普通汽車在其壽命內(nèi)排放量的5倍! 這些模型通常需要更多的能量來處理并生成設(shè)置(或稱為推理階段)。英偉達(dá)估計(jì),運(yùn)行神經(jīng)網(wǎng)絡(luò)模型所產(chǎn)生的成本中,有80- 90%來自推理過程,而不是訓(xùn)練過程。
為了在人工智能領(lǐng)域取得更大的進(jìn)展,普遍觀點(diǎn)認(rèn)為,我們將不得不做出巨大的環(huán)境權(quán)衡。但事實(shí)并非如此,大型模型可以縮小到可以在日常工作站上或服務(wù)器上運(yùn)行,而不必犧牲準(zhǔn)確性和速度。
過往:計(jì)算能力平均每3.4個(gè)月翻一番
十多年前,斯坦福大學(xué)(Stanford University)的研究人員發(fā)現(xiàn),用于驅(qū)動(dòng)視頻游戲中的圖形處理器(稱為Gpu),可以用于深度學(xué)習(xí)模型。這一發(fā)現(xiàn)引發(fā)了一場(chǎng)為深度學(xué)習(xí)應(yīng)用程序創(chuàng)建越來越強(qiáng)大的專用硬件的競(jìng)賽。反過來,科學(xué)家們創(chuàng)建的模型變得越來越大。其邏輯是,更大的模型會(huì)導(dǎo)致更準(zhǔn)確的結(jié)果。硬件功能越強(qiáng)大,這些機(jī)型運(yùn)行速度就越快。
OpenAI的研究證明,這一假設(shè)在該領(lǐng)域已被廣泛采用。從2012年到2018年,深度學(xué)習(xí)模型的計(jì)算能力平均每3.4個(gè)月翻一番。所以,這意味著在6年的時(shí)間里,用于人工智能的計(jì)算能力增長(zhǎng)了驚人的30萬倍。如上所述,這種能力不僅用于訓(xùn)練算法,還可以在生成設(shè)置中使用它們。麻省理工學(xué)院(MIT)最近的一項(xiàng)研究表明,我們可能會(huì)比想象中更快地達(dá)到計(jì)算能力的上限。
更重要的是,資源的限制使得深度學(xué)習(xí)算法的使用僅限于那些有能力使用它的人。當(dāng)深度學(xué)習(xí)可以應(yīng)用于從醫(yī)學(xué)成像中檢測(cè)癌細(xì)胞到阻止在線仇恨言論的所有領(lǐng)域時(shí),我們不能限制訪問。不過,我們也不能承受建造更大、更耗電的模型所帶來的環(huán)境后果。
未來:變得越來越小
幸運(yùn)的是,研究人員發(fā)現(xiàn)了一些新的方法來縮小深度學(xué)習(xí)模型,并通過更智能的算法來改變訓(xùn)練數(shù)據(jù)集的應(yīng)用。通過這種方式,大型模型可以在生產(chǎn)環(huán)境中以更低的能耗運(yùn)行,并且仍然可以根據(jù)用例實(shí)現(xiàn)預(yù)期的結(jié)果。
這些技術(shù)有可能使機(jī)器學(xué)習(xí)大眾化,為更多沒有數(shù)百萬美元來投資訓(xùn)練算法并將其投入生產(chǎn)的組織服務(wù)。這對(duì)于“邊緣”用例尤其重要,想想相機(jī)、汽車儀表盤、智能手機(jī)等微型設(shè)備吧,在這些用例中,大型的、專門的AI硬件在物理上是不實(shí)用的。
研究人員正在通過刪除神經(jīng)網(wǎng)絡(luò)中一些不需要的連接,或者通過簡(jiǎn)化數(shù)學(xué)運(yùn)算來縮小模型。這些更小、更快的模型可以在任何地方運(yùn)行,其精度和性能與大型模型相似。這意味著我們不再需要爭(zhēng)先恐后地使用最強(qiáng)大的計(jì)算能力,從而對(duì)環(huán)境造成更大的破壞。讓大型模型變得更小、更高效是深度學(xué)習(xí)的未來。
另一個(gè)主要問題是針對(duì)不同的用例,在新的數(shù)據(jù)集上一遍又一遍地訓(xùn)練大型模型。一種叫做遷移學(xué)習(xí)的技術(shù)可以幫助防止這個(gè)問題。遷移學(xué)習(xí)使用預(yù)先訓(xùn)練的模型作為起點(diǎn)。模型的知識(shí)可以通過一個(gè)有限的數(shù)據(jù)集“轉(zhuǎn)移”到一個(gè)新的任務(wù)中,而不必從頭開始重新訓(xùn)練原始模型。這是朝著減少訓(xùn)練新模型所需的計(jì)算能力、能源和資金邁出的關(guān)鍵一步。
底線是什么?
模型可以(而且應(yīng)該)在任何可能的情況下縮小,以使用更少的計(jì)算能力。并且知識(shí)可以被回收和重用,而不是從頭開始深度學(xué)習(xí)的訓(xùn)練過程。最終,找到減少模型大小和相關(guān)計(jì)算能力的方法(在不犧牲性能或精度的情況下)將是深度學(xué)習(xí)的下一個(gè)偉大突破。通過這種方式,任何人都能夠以更低的成本在生產(chǎn)中運(yùn)行這些應(yīng)用程序,而無需在環(huán)境方面做出巨大的犧牲。當(dāng)我們把大型人工智能放在小的地方時(shí),一切都是可能的——甚至是幫助阻止氣候變化的毀滅性影響。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國(guó)柏林國(guó)際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場(chǎng)的強(qiáng)大影響力。
近日,中國(guó)家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。