近日,騰訊云小微及騰訊云TI-ONE聯(lián)合團(tuán)隊(duì)在大型深層閱讀理解任務(wù)數(shù)據(jù)集 RACE 數(shù)據(jù)集(ReAding Comprehension dataset collected from English Examinations)上登頂?shù)谝弧?jù)了解,在此次比賽中,騰訊云小微及騰訊云TI-ONE聯(lián)合團(tuán)隊(duì)在基于ALBERT預(yù)訓(xùn)練模型上,取得了單模型90.7%和集成模型91.4%正確率的成績(jī)。
采用全新訓(xùn)練策略,騰訊云小微及騰訊云TI-ONE聯(lián)合團(tuán)隊(duì)展現(xiàn)AI實(shí)力
RACE 是一個(gè)來(lái)源于中學(xué)考試題目的大規(guī)模閱讀理解數(shù)據(jù)集,包含了大約 28000 個(gè)文章以及近 100000 個(gè)問(wèn)題。它的形式類(lèi)似于英語(yǔ)考試中的閱讀理解(選擇題),給定一篇文章,通過(guò)閱讀并理解文章(Passage),針對(duì)提出的問(wèn)題(Question)從四個(gè)選項(xiàng)中選擇正確的答案(Answers)。
據(jù)了解,深度閱讀理解的難度在于,正確答案的文字并沒(méi)有直接使用文章中的話術(shù)來(lái)回答,不能通過(guò)檢索文章獲取答案,而是要從語(yǔ)義層面深度理解文章來(lái)作答。想要提高閱讀正確率,就需要機(jī)器模型通過(guò)分析文章中的線索并基于上下文推理,選出正確答案,這對(duì)參賽團(tuán)隊(duì)的算法技術(shù)提出了更高的要求。
因此,騰訊云小微團(tuán)隊(duì)通過(guò)全新的訓(xùn)練策略來(lái)實(shí)現(xiàn)突破。他們跳出從現(xiàn)有的四個(gè)選項(xiàng)中選出一個(gè)正確答案的固定模式,采用獨(dú)立地考慮每一個(gè)答案是否合理的方式,同時(shí)利用多種其他形式的閱讀理解數(shù)據(jù)進(jìn)行遷移學(xué)習(xí),大大提高了閱讀理解的準(zhǔn)確率,并在基于ALBERT預(yù)訓(xùn)練模型上,取得了單模型90.7%和集成模型91.4%正確率的成績(jī),贏得了本次比賽的冠軍。
除此之外,在本次比賽上,騰訊云TI-ONE聯(lián)合騰訊優(yōu)圖和機(jī)智團(tuán)隊(duì)在單機(jī)性能優(yōu)化、分布式多機(jī)擴(kuò)展和AutoML收斂?jī)?yōu)化方面也作出了諸多開(kāi)創(chuàng)性貢獻(xiàn)。
在單機(jī)性能方面,基于ALBERT的原生代碼,TI-ONE引入了Nvidia的APEX的混合精度訓(xùn)練,并采用動(dòng)態(tài)loss scaling進(jìn)行正確的權(quán)重更新,保證最終模型的精度沒(méi)有因?yàn)榈途扔?xùn)練而有所損失,最終,單卡性能提升為原來(lái)的3.6倍。
在多機(jī)擴(kuò)展方面,由于PyTorch原生的DDP通信框架在公有云VPC網(wǎng)絡(luò)擴(kuò)展性不好,團(tuán)隊(duì)采用自研的TI-Horovod通信加速框架,利用2D-AllReduce和多流通信等技術(shù),把多機(jī)訓(xùn)練ALBERT性能提升為原來(lái)的5.5倍。
另外,AutoML收斂方面,騰訊自研的TI-AutoML框架解決了模型集成困難和大規(guī)模長(zhǎng)任務(wù)調(diào)參效果差的問(wèn)題,便捷地與ALBERT模型集成,同時(shí)針對(duì)ALBERT模型pretrain和fine-tune兩階段訓(xùn)練的特點(diǎn),采用了不同的自動(dòng)調(diào)參策略,最后在騰訊云海量算力的加持下,調(diào)參效率相對(duì)人工調(diào)參提升了8倍,徹底把算法工程師從繁瑣的手工調(diào)參中解放出來(lái),讓精力更多的聚焦在更有意義的模型算法創(chuàng)新工作上。
技術(shù)突破讓AI應(yīng)用日漸廣泛,在多行業(yè)領(lǐng)域落地應(yīng)用
深度閱讀理解是目前AI領(lǐng)域中最受關(guān)注、進(jìn)步最快的技術(shù)方向。如何提高機(jī)器深度閱讀理解的正確率,是業(yè)內(nèi)一直在關(guān)注和探索的問(wèn)題。此次騰訊聯(lián)合團(tuán)隊(duì)創(chuàng)新的訓(xùn)練策略,和在單機(jī)性能優(yōu)化、分布式多機(jī)擴(kuò)展和AutoML收斂?jī)?yōu)化等方面的技術(shù)提升,將給AI技術(shù)領(lǐng)域帶來(lái)新的突破。
不止是在深度閱讀理解領(lǐng)域有所突破,此次參賽的騰訊云小微團(tuán)隊(duì)專(zhuān)注于AI技術(shù)領(lǐng)域,在機(jī)器翻譯、人機(jī)對(duì)話、閱讀理解、自動(dòng)摘要等領(lǐng)域內(nèi)都有所研究,其相關(guān)技術(shù)多次獲得業(yè)內(nèi)的認(rèn)可。在AIIA2020人工智能開(kāi)發(fā)者大會(huì)上,騰訊云小微獲得多項(xiàng)技術(shù)評(píng)測(cè)認(rèn)證;在***C第八屆對(duì)話系統(tǒng)技術(shù)挑戰(zhàn)賽中,則獲得四項(xiàng)第一;在CAIL2019司法人工智能挑戰(zhàn)賽閱讀理解第一名的好成績(jī)。
當(dāng)前,人工智能作為經(jīng)濟(jì)發(fā)展的新動(dòng)力以及新一輪產(chǎn)業(yè)變革的核心驅(qū)動(dòng)力,機(jī)器翻譯、人機(jī)對(duì)話、閱讀理解等AI技術(shù)正在教育、文旅、出行等多個(gè)領(lǐng)域內(nèi)落地應(yīng)用。在這種背景下,騰訊云小微團(tuán)隊(duì)?wèi){借全棧AI語(yǔ)音能力,以及騰訊內(nèi)外部豐富的內(nèi)容和服務(wù)生態(tài),為各行各業(yè)輸出完整的AI解決方案,不斷滲透智慧生活各個(gè)場(chǎng)景。據(jù)了解,目前已在智能網(wǎng)聯(lián)汽車(chē)、智慧文旅、智慧教育、智能家居等多行業(yè)領(lǐng)域落地應(yīng)用,服務(wù)廣泛的用戶群體。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會(huì)上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性?xún)r(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專(zhuān)題論壇在沈陽(yáng)成功舉辦。