關注人工智能領域的巨大能耗問題

　　人工智能領域的深度學習模型越具有開創(chuàng)性，它們的規(guī)模就越大。今年最熱門的自主語言處理模型GPT-3就是一個很好的例子。為了達到像人類一樣書寫的準確性和速度水平，這個模型需要1750億個參數(shù)、350 GB內存和至少1200萬美元資金的投入。但是，除了成本之外，像這樣的大型人工智能模型還面臨一個巨大的能耗問題。

　　馬薩諸塞大學阿默斯特分校的研究人員發(fā)現(xiàn)，訓練一個大型人工智能模型所需的計算能力可以產(chǎn)生超過60萬磅的二氧化碳排放——這是一輛普通汽車在其壽命內排放量的5倍! 這些模型通常需要更多的能量來處理并生成設置(或稱為推理階段)。英偉達估計，運行神經(jīng)網(wǎng)絡模型所產(chǎn)生的成本中，有80- 90%來自推理過程，而不是訓練過程。

　　為了在人工智能領域取得更大的進展，普遍觀點認為，我們將不得不做出巨大的環(huán)境權衡。但事實并非如此，大型模型可以縮小到可以在日常工作站上或服務器上運行，而不必犧牲準確性和速度。

　　過往：計算能力平均每3.4個月翻一番

　　十多年前，斯坦福大學(Stanford University)的研究人員發(fā)現(xiàn)，用于驅動視頻游戲中的圖形處理器(稱為Gpu)，可以用于深度學習模型。這一發(fā)現(xiàn)引發(fā)了一場為深度學習應用程序創(chuàng)建越來越強大的專用硬件的競賽。反過來，科學家們創(chuàng)建的模型變得越來越大。其邏輯是，更大的模型會導致更準確的結果。硬件功能越強大，這些機型運行速度就越快。

　　OpenAI的研究證明，這一假設在該領域已被廣泛采用。從2012年到2018年，深度學習模型的計算能力平均每3.4個月翻一番。所以，這意味著在6年的時間里，用于人工智能的計算能力增長了驚人的30萬倍。如上所述，這種能力不僅用于訓練算法，還可以在生成設置中使用它們。麻省理工學院(MIT)最近的一項研究表明，我們可能會比想象中更快地達到計算能力的上限。

　　更重要的是，資源的限制使得深度學習算法的使用僅限于那些有能力使用它的人。當深度學習可以應用于從醫(yī)學成像中檢測癌細胞到阻止在線仇恨言論的所有領域時，我們不能限制訪問。不過，我們也不能承受建造更大、更耗電的模型所帶來的環(huán)境后果。

　　未來：變得越來越小

　　幸運的是，研究人員發(fā)現(xiàn)了一些新的方法來縮小深度學習模型，并通過更智能的算法來改變訓練數(shù)據(jù)集的應用。通過這種方式，大型模型可以在生產(chǎn)環(huán)境中以更低的能耗運行，并且仍然可以根據(jù)用例實現(xiàn)預期的結果。

　　這些技術有可能使機器學習大眾化，為更多沒有數(shù)百萬美元來投資訓練算法并將其投入生產(chǎn)的組織服務。這對于“邊緣”用例尤其重要，想想相機、汽車儀表盤、智能手機等微型設備吧，在這些用例中，大型的、專門的AI硬件在物理上是不實用的。

　　研究人員正在通過刪除神經(jīng)網(wǎng)絡中一些不需要的連接，或者通過簡化數(shù)學運算來縮小模型。這些更小、更快的模型可以在任何地方運行，其精度和性能與大型模型相似。這意味著我們不再需要爭先恐后地使用最強大的計算能力，從而對環(huán)境造成更大的破壞。讓大型模型變得更小、更高效是深度學習的未來。

　　另一個主要問題是針對不同的用例，在新的數(shù)據(jù)集上一遍又一遍地訓練大型模型。一種叫做遷移學習的技術可以幫助防止這個問題。遷移學習使用預先訓練的模型作為起點。模型的知識可以通過一個有限的數(shù)據(jù)集“轉移”到一個新的任務中，而不必從頭開始重新訓練原始模型。這是朝著減少訓練新模型所需的計算能力、能源和資金邁出的關鍵一步。

　　底線是什么?

　　模型可以(而且應該)在任何可能的情況下縮小，以使用更少的計算能力。并且知識可以被回收和重用，而不是從頭開始深度學習的訓練過程。最終，找到減少模型大小和相關計算能力的方法(在不犧牲性能或精度的情況下)將是深度學習的下一個偉大突破。通過這種方式，任何人都能夠以更低的成本在生產(chǎn)中運行這些應用程序，而無需在環(huán)境方面做出巨大的犧牲。當我們把大型人工智能放在小的地方時，一切都是可能的——甚至是幫助阻止氣候變化的毀滅性影響。