美國時間2月22日,百度硅谷人工智能實(shí)驗室(SVAIL)宣布向深度學(xué)習(xí)領(lǐng)域開源了 Ring Allreduce算法庫,以實(shí)現(xiàn)在多個GPU之上更快速地訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。
Ring Allreduce是高性能計算領(lǐng)域的著名算法,但在深度學(xué)習(xí)領(lǐng)域應(yīng)用不足。該技術(shù)可以實(shí)現(xiàn)近乎線性的加速,以及幾十個甚至上百個GPU的擴(kuò)展。比如,運(yùn)用Ring Allreduce算法,百度硅谷人工智能實(shí)驗室將神經(jīng)網(wǎng)絡(luò)的訓(xùn)練擴(kuò)展至40個GPU并且訓(xùn)練速度提高31倍。
百度研究員Shubho Sengupta表示:“我們很高興能開源我們的Ring Allreduce算法庫,該庫可應(yīng)用于各大主要的深度學(xué)習(xí)框架,這將使深度學(xué)習(xí)研究人員可以在更多GPU上用更快的速度訓(xùn)練自己的模型。”
過去幾年里,神經(jīng)網(wǎng)絡(luò)迅猛發(fā)展,其訓(xùn)練所需的數(shù)據(jù)量和計算資源也越來越大。為了提供所需的計算能力,更多GPU被用在訓(xùn)練之中。
在多個GPU之上訓(xùn)練神經(jīng)網(wǎng)絡(luò)通常比較困難,因為比較普遍的做法是向單個GPU發(fā)送數(shù)據(jù),這樣就形成了通訊瓶頸。而Ring Allreduce算法可以大大減少GPU用于發(fā)送數(shù)據(jù)的時間,用更多的時間進(jìn)行有效運(yùn)算,以此來消除瓶頸。
“Ring Allreduce算法讓我們可以在神經(jīng)網(wǎng)絡(luò)的眾多設(shè)備和節(jié)點(diǎn)之間進(jìn)行更加高效的梯度分級,這是一種針對帶寬優(yōu)化的算法,能夠大大減少運(yùn)算時間,從而實(shí)現(xiàn)更多設(shè)備的擴(kuò)展,同時還能保留同步隨機(jī)梯度下降的確定性與可預(yù)測的收斂性質(zhì)。百度研究員Andrew Gibiansky表示。
百度Ring Allreduce (https://github.com/baidu-research/baidu-allreduce )C類庫可在Github上下載使用。同時Github上還提供與TensorFLow共同使用時所需的補(bǔ)丁 (https://github.com/baidu-research/tensorflow-allreduce)。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
近日,德國柏林國際電子消費(fèi)品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項“IFA全球產(chǎn)品設(shè)計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強(qiáng)大影響力。
近日,中國家電及消費(fèi)電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實(shí)驗室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。