2019國際大數(shù)據(jù)分析競賽 金山AI Lab團(tuán)隊(duì)摘得桂冠

　　近日，金山AI Lab獲得了計(jì)算機(jī)視覺界的頂級(jí)競賽之一MS COCO Image Captioning以及IEEE特別發(fā)起的國際大數(shù)據(jù)分析競賽(IEEE ISI World Cup 2019)雙料冠軍。

　　兩大頂級(jí)賽事競爭激烈

　　MS COCO(Microsoft Common Objects in Context，常見物體圖像識(shí)別)是計(jì)算機(jī)視覺領(lǐng)域最受關(guān)注和最權(quán)威的比賽之一，是圖像(物體)識(shí)別方向最重要的標(biāo)桿，也是目前國際領(lǐng)域唯一能夠匯集谷歌、微軟、Facebook 三大巨頭以及國際頂尖院校共同參與的大賽。目前MS COCO 競賽，共有物體檢測 (Detection)、人體關(guān)鍵點(diǎn)檢測 (Keypoints)、圖像分割 (Stuff)、全景分割(Panoptic)和圖像描述生成 (Captions) 五個(gè)類別的比賽任務(wù)，其中圖像描述生成任務(wù) (Captions)需要同時(shí)對(duì)圖像與文本進(jìn)行深度的理解與融合，相比其他任務(wù)更具有挑戰(zhàn)性。包括騰訊、華為、Microsoft、中科院自動(dòng)化所、北京大學(xué)、中國科學(xué)技術(shù)大學(xué)、UC Berkeley、Stanford University等企業(yè)、科研機(jī)構(gòu)和高校，迄今共有 200 多支隊(duì)伍參與了這項(xiàng)比賽。

　　而由IEEE(IEEE ISI安全信息學(xué)領(lǐng)域的旗艦會(huì)議)，特別發(fā)起的國際大數(shù)據(jù)分析競賽(IEEE ISI World Cup 2019)同樣競爭激烈，有來自中國、美國、巴基斯坦、英國、德國等7個(gè)國家的企業(yè)、高校共363支隊(duì)伍，1001名選手參戰(zhàn)。

　　金山AI Lab在圖像描述、大數(shù)據(jù)分析兩大領(lǐng)域表現(xiàn)不俗

　　金山AI Lab在大數(shù)據(jù)人工智能飛速發(fā)展的背景下成立。目前，金山AI Lab以NLP為核心，涵蓋圖像、文本、語音三大方向，主要研究內(nèi)容分為知識(shí)圖譜、機(jī)器翻譯、內(nèi)容推薦和智能校對(duì)等。研究項(xiàng)目主要分為兩類，一類是專注于落地的項(xiàng)目，如機(jī)器翻譯、智能校對(duì)等;另一類是專注于基礎(chǔ)服務(wù)的項(xiàng)目，例如知識(shí)圖譜，可以對(duì)這些直接落地的項(xiàng)目提供長期的輔助研究。這兩項(xiàng)比賽取得的成功很好地證明了金山AI Lab在圖像及大數(shù)據(jù)分析方面的實(shí)力。

　　MS COCO比賽中，金山AI Lab團(tuán)隊(duì)參與了挑戰(zhàn)性最大的圖像描述生成任務(wù) (Captions)項(xiàng)目。圖像描述生成(image caption)是使機(jī)器理解圖像內(nèi)容，并用人類語言描述其所理解的圖像內(nèi)容。圖像描述生成(image caption)技術(shù)是一個(gè)結(jié)合計(jì)算機(jī)視覺與 NLP技術(shù)的多模態(tài)交叉研究領(lǐng)域，這個(gè)任務(wù)不僅僅需要理解圖像，更需要理解自然語言，是深度學(xué)習(xí)處理多模態(tài)數(shù)據(jù)的一個(gè)重要任務(wù)。

　　金山AI Lab團(tuán)隊(duì)使用目前流行的Transformer模型，并針對(duì)圖像信息利用不充分的問題提出了結(jié)合圖像關(guān)鍵信息的keywords Transformer、利用動(dòng)態(tài)卷積結(jié)構(gòu)改進(jìn)Transformer的解碼端、提出了有效的多特征融合機(jī)制和多模型系統(tǒng)融合等技術(shù)，使生成的圖像描述更準(zhǔn)確、相關(guān)性更高、句子更流暢。結(jié)合WPS在辦公場景下的優(yōu)勢，前述技術(shù)可以在公式識(shí)別、圖像描述、圖像檢索等場景大顯身手。

　　總體流程

　　#FormatImgID_3#

　　keywords transformer模型

　　Keywords_MIA Transformer模型

　　在ISI World Cup競賽中，金山AI Lab派出兩支團(tuán)隊(duì)分別參加兩個(gè)任務(wù)，一支隊(duì)伍在M2中以44分奪得冠軍，分?jǐn)?shù)比其他隊(duì)伍高了接近一倍，達(dá)到了參賽隊(duì)伍中的領(lǐng)先水平，可以在生產(chǎn)環(huán)境中直接應(yīng)用，解決企業(yè)痛點(diǎn)。在M2上面，金山AI Lab使用了遞進(jìn)優(yōu)化的策略，對(duì)數(shù)據(jù)進(jìn)行多層次的分類，避免了數(shù)據(jù)分布因極度不均衡而帶來的訓(xùn)練失效問題。另一支隊(duì)伍在M1中取得第五名。