Techo開(kāi)發(fā)者大會(huì)，騰訊優(yōu)圖分享最新研究成果和產(chǎn)業(yè)實(shí)踐

　　12月19日-20日，由騰訊發(fā)起的2020 Techo Park開(kāi)發(fā)者大會(huì)于北京順利召開(kāi)。其中人工智能專(zhuān)場(chǎng)以“人工智能算法與最佳實(shí)踐”為主題，為開(kāi)發(fā)者、業(yè)界及生態(tài)伙伴呈現(xiàn)了云計(jì)算時(shí)代下人工智能領(lǐng)域的最新前沿技術(shù)與最佳行業(yè)實(shí)踐。

　　騰訊優(yōu)圖實(shí)驗(yàn)室的研究員梁晨、王亞彪、姚達(dá)、楊博分別圍繞AI視覺(jué)傳感器、視覺(jué)算法在圖像編輯生成中的研究與應(yīng)用、TNN跨平臺(tái)推理優(yōu)化、模量化訓(xùn)練部署及實(shí)踐等發(fā)表了主題演講，向業(yè)界展示了優(yōu)圖最新研究成果與產(chǎn)業(yè)實(shí)踐。

　　自研AI視覺(jué)傳感器VisionSeed，算法多樣支持二次開(kāi)發(fā)

　　在論壇上，梁晨給大家介紹了一個(gè)有趣的硬件——AI視覺(jué)傳感器。什么是AI視覺(jué)傳感器呢?它是由攝像頭、NPU和算法組成的硬件模組，其基本運(yùn)行原理是：在NPU上運(yùn)行深度學(xué)習(xí)算法，能夠直接對(duì)攝像頭拍攝到的畫(huà)面進(jìn)行實(shí)時(shí)分析，并將分析的結(jié)果通過(guò)數(shù)字信號(hào)傳輸給主機(jī)。

　　據(jù)梁晨介紹，騰訊優(yōu)圖推出了一款自研的AI視覺(jué)傳感器——VisionSeed，內(nèi)置優(yōu)圖領(lǐng)先的視覺(jué)AI算法，還提供專(zhuān)業(yè)的配套工具和全平臺(tái)的SDK作為支撐，讓開(kāi)發(fā)者可以方便的進(jìn)行二次開(kāi)發(fā)。

　　騰訊優(yōu)圖專(zhuān)家研究員 梁晨

　　算法是AI視覺(jué)傳感器的靈魂，VisionSeed具有很強(qiáng)的擴(kuò)展性，能適應(yīng)多種算法。一是可以適配SSD、YOLO-V4等開(kāi)源的目標(biāo)檢測(cè)算法。二是應(yīng)用于自動(dòng)駕駛小車(chē)競(jìng)賽領(lǐng)域的車(chē)道定位算法，將VisionSeed安裝在AGV小車(chē)的前端，獲取第一人稱(chēng)視角的車(chē)道畫(huà)面后，通過(guò)算法輸出小車(chē)在車(chē)道內(nèi)的橫向偏移。這個(gè)算法主要通過(guò)語(yǔ)義分割進(jìn)行車(chē)道信息提取，再通過(guò)回歸模型直接得到定位結(jié)果來(lái)完成任務(wù)，將這兩個(gè)交通標(biāo)識(shí)檢測(cè)和車(chē)道定位模型都部署到AI視覺(jué)傳感器中，它就能指揮AGV小車(chē)完成復(fù)雜的任務(wù)。三是OCR算法，VisionSeed適配了基于 PyTorch開(kāi)源實(shí)現(xiàn)的CRNN算法。

　　VisionSeed將以上算法，在客戶(hù)端工具中封裝成可以一鍵下載的模塊，不僅方便用戶(hù)下載體驗(yàn)，還可以進(jìn)行分類(lèi)任務(wù)訓(xùn)練。VisionSeed還同時(shí)支持UART和USB兩個(gè)硬件接口。此外，通過(guò)VisionSeed提供的全平臺(tái)SDK，開(kāi)發(fā)者僅用10行代碼就可以獲取到AI分析后的結(jié)構(gòu)化結(jié)果。

　　研發(fā)圖像編輯生成技術(shù)，解鎖圖像和視頻領(lǐng)域更多可能

　　什么是圖像編輯生成?人臉融合、圖像分割、動(dòng)漫化、視頻換臉、照片驅(qū)動(dòng)……這些都是利用圖像編輯生產(chǎn)技術(shù)完成的。演講中，騰訊優(yōu)圖高級(jí)研究員王亞彪重點(diǎn)介紹了視頻換臉、面部屬性編輯、視線(xiàn)編輯、畫(huà)質(zhì)編輯這四項(xiàng)技術(shù)，他表示這些技術(shù)都會(huì)用到GAN生成對(duì)抗網(wǎng)絡(luò)和Encoder-Decoder框架。

　　視頻換臉領(lǐng)域早期有一個(gè)Deepfake算法，該算法只能對(duì)訓(xùn)練過(guò)的兩個(gè)特定ID換臉，無(wú)法使用各種各樣的人臉去做替換。針對(duì)此點(diǎn)不足，優(yōu)圖提出了SimSwap算法，不僅能滿(mǎn)足不同人臉的替換，還可以做跨性別替換，在正臉和側(cè)臉之間也可以進(jìn)行替換。

　　騰訊優(yōu)圖高級(jí)研究員 王亞彪

　　在面部屬性編輯技術(shù)研究中發(fā)現(xiàn)，模型不同層級(jí)的“風(fēng)格”特征表示，在某些層級(jí)具有很好的可分性，因此優(yōu)圖提出了SSCGAN算法，該算法采用多級(jí)風(fēng)格跳躍連接(SSC)和空間信息遷移(SIT)兩個(gè)模塊，實(shí)現(xiàn)整體結(jié)構(gòu)和局部面部屬性的精確編輯。

　　在視線(xiàn)編輯方面，王亞彪指出，疫情期間在線(xiàn)視頻交流越來(lái)越重要，但受限于屏幕和攝像頭之間的物理布局，導(dǎo)致交流過(guò)程中缺乏眼神接觸，因此優(yōu)圖提出Ugaze 算法框架，矯正眼神視線(xiàn)方向。相較于以往基于3D變換的視圖生成和基于生成模型的單目視線(xiàn)編輯， Ugaze 算法主要有兩點(diǎn)創(chuàng)新：一是提出了基于運(yùn)動(dòng)流場(chǎng)結(jié)合判別器的方案;二是使用了大量人工合成數(shù)據(jù)，采用域遷移方法，進(jìn)一步提升了模型矯正精度。

　　針對(duì)畫(huà)質(zhì)編輯，優(yōu)圖提出了圖像超分RealSR算法。以往的超分算法往往只在特定數(shù)據(jù)集上有效，難以很好的對(duì)真實(shí)世界圖像做超分。針對(duì)以往算法在高清和低清圖像pair構(gòu)造上的不足，我們提出了一種新的圖像退化框架，該框架可以估計(jì)多樣化的模糊核和真實(shí)噪聲分布。RealSR算法獲得了NTIRE 2020挑戰(zhàn)賽冠軍，并受到了眾多社區(qū)開(kāi)發(fā)者的關(guān)注。

　　推出統(tǒng)一推理框架TNN，解決產(chǎn)業(yè)落地難題

　　騰訊優(yōu)圖高級(jí)研究員姚達(dá)在演講中介紹到，優(yōu)圖的視覺(jué)AI技術(shù)如文字識(shí)別、圖像識(shí)別、美容美化等核心技術(shù)，已在零售、工業(yè)、支付等多個(gè)領(lǐng)域進(jìn)行應(yīng)用。但在產(chǎn)業(yè)解決方案落地過(guò)程中，優(yōu)圖也遇到了一些難點(diǎn)，比如模型格式不同一、硬件架構(gòu)眾多、性能低功耗高等。

　　為解決以上三大難點(diǎn)，優(yōu)圖聯(lián)合騰訊內(nèi)部多個(gè)部門(mén)推出了統(tǒng)一推理框架TNN，以滿(mǎn)足算法模型跨平臺(tái)、高性能快速部署需求。TNN通過(guò)ONNX作為一個(gè)中間結(jié)構(gòu)支持PyTorch、TensorFlow等多種模型格式，同時(shí)TNN在底層適配了各種各樣的芯片能力。目前在騰訊內(nèi)部，TNN已在手Q、微視等多個(gè)APP端以及微信支付一體機(jī)等終端落地，穩(wěn)定性和可靠性得到廣泛驗(yàn)證。

　　騰訊優(yōu)圖高級(jí)研究員 姚達(dá)

　　TNN推理框架是如何進(jìn)行優(yōu)化的呢?根據(jù)硬件架構(gòu)基礎(chǔ)和硬件的演進(jìn)，TNN提出兩個(gè)基本準(zhǔn)則：一是減少計(jì)算量，減少內(nèi)存讀寫(xiě)，適配Cache讓內(nèi)存讀寫(xiě)更快;二是擴(kuò)展適配異構(gòu)計(jì)算設(shè)備。

　　基于以上兩個(gè)原則，TNN提出了圖優(yōu)化、算子公式優(yōu)化、算子手動(dòng)調(diào)優(yōu)、異構(gòu)調(diào)度優(yōu)化等多種優(yōu)化方案。在圖優(yōu)化中通過(guò)常數(shù)折疊和算子融合，避免運(yùn)行時(shí)冗余計(jì)算以及減少內(nèi)存讀寫(xiě)次數(shù);在算子公式優(yōu)化中，利用子圖變換、公式等效和近似計(jì)算，減小計(jì)算量和內(nèi)存讀寫(xiě)總量。在算子手動(dòng)調(diào)優(yōu)中，針對(duì)耗時(shí)占比在70%以上的卷積算子，根據(jù)硬件緩存特性設(shè)計(jì)精細(xì)的卷積實(shí)現(xiàn)。在異構(gòu)調(diào)度優(yōu)化中，TNN提出異構(gòu)單元專(zhuān)職專(zhuān)用，充分利用所有計(jì)算設(shè)備，根據(jù)計(jì)算設(shè)備特性分配不同計(jì)算任務(wù)，同時(shí)計(jì)算設(shè)備間進(jìn)行流水線(xiàn)優(yōu)化，以此減少計(jì)算設(shè)備相互等待，提升計(jì)算重疊度，減少整體延時(shí)。

　　在硬件適配方面，針對(duì)端邊云硬件架構(gòu)各異，相互不具備通用性，適配工作量巨大這些難點(diǎn)，TNN和硬件廠商進(jìn)行了聯(lián)合優(yōu)化，優(yōu)化后可以達(dá)到兩種效果：一是接口統(tǒng)一，用戶(hù)只需要通過(guò)簡(jiǎn)單的參數(shù)設(shè)置，就可以在CPU、GPU、NPU上運(yùn)行。二是模型統(tǒng)一，TNN內(nèi)部通過(guò)IR中間件的方式適配各個(gè)硬件廠商的自研框架如OpenVINO\TensorRT等，用戶(hù)僅需轉(zhuǎn)換TNN模型即可在各硬件平臺(tái)部署。

　　優(yōu)圖在推理框架TNN下與英特爾合作完成多尺度GEMM優(yōu)化，使得模型性能提升24%;與英偉達(dá)完成低精度量化模型的訓(xùn)練和推理支持，相比FP32推理提升4倍以上

　　目前，TNN已經(jīng)開(kāi)源，期待更多開(kāi)發(fā)者加入進(jìn)來(lái)，一起協(xié)同共建統(tǒng)一的推理框架。

　　聯(lián)合英偉達(dá)開(kāi)發(fā)Int8方案，推動(dòng)模型量化高效升級(jí)

　　騰訊優(yōu)圖高級(jí)研究員楊博在演講中講述了模型量化的背景，他指出業(yè)界比較常用的模型量化解決方案是NVIDIA post-train方案，這個(gè)方案是在訓(xùn)練完之后對(duì)模型進(jìn)行校正，使用少量的數(shù)據(jù)，部署很方便，但有一個(gè)缺點(diǎn)是會(huì)導(dǎo)致模型效果下降。此外，還有一種是以Tensorflow QAT為代表的解決方案，這種方法在訓(xùn)練過(guò)程中模擬Int8計(jì)算，采用Minmax計(jì)算量化區(qū)間，F(xiàn)inetune補(bǔ)償精度損失，但訓(xùn)練周期長(zhǎng)，而且工具鏈還不是很完善，一些常用的模型無(wú)法支持從訓(xùn)練到部署的轉(zhuǎn)化。

　　可以看出，業(yè)界傳統(tǒng)的解決算法都存在某些方面的不足，針對(duì)以上這些問(wèn)題，優(yōu)圖和英偉達(dá)合作開(kāi)發(fā)了一個(gè)完善的Int8訓(xùn)練到部署的方案，該方案升級(jí)了圖優(yōu)化匹配模板，支持更多模型QAT圖轉(zhuǎn)換，其次增加了混合精度量化訓(xùn)練方式等其他量化模型精度保持方式，最后推理框架(TensorRT、TNN)支持包含quant節(jié)點(diǎn)的模型轉(zhuǎn)換。

　　騰訊優(yōu)圖高級(jí)研究員 楊博

　　Int8模型科學(xué)機(jī)訓(xùn)練采用的是什么工作方法呢?首先會(huì)做一個(gè)BN層的融合，然后是子圖搜索和匹配，匹配到子圖以后，會(huì)自動(dòng)插入量化節(jié)點(diǎn)，最后通過(guò)建立黑白名單的混合精度策略、動(dòng)態(tài)量化區(qū)間統(tǒng)計(jì)以及激活層增量量化等方法，來(lái)保持模型效果。

　　Int8模型前向部署主要分為兩部分，一是導(dǎo)出模型到onnx，完成QAT訓(xùn)練后，對(duì)checkpoint進(jìn)行后處理并導(dǎo)出包含量化op在內(nèi)的onnx模型;二是采用TensorRT顯示精度的模式完成fp32模型到int8模型的轉(zhuǎn)換，對(duì)相關(guān)OP做一些融合，將onnx模型轉(zhuǎn)換到tensorRT和TNN內(nèi)。

　　楊博表示Int8標(biāo)準(zhǔn)模型，在打通Calibration和QAT部署相關(guān)工作之后的一些數(shù)據(jù)效果很好，但會(huì)增加耗時(shí)，優(yōu)圖會(huì)繼續(xù)優(yōu)化技術(shù)，提高研究效率。后續(xù)優(yōu)圖也將繼續(xù)和英偉達(dá)展開(kāi)更深度的合作，進(jìn)一步完善優(yōu)圖QAT工具，增加對(duì)TensorRT后續(xù)版本的支持，提供更加易用高效的QAT模型訓(xùn)練和部署解決方案。

　　作為騰訊旗下頂級(jí)的人工智能實(shí)驗(yàn)室，優(yōu)圖一直聚焦計(jì)算機(jī)視覺(jué)，專(zhuān)注人臉識(shí)別、圖像識(shí)別、OCR、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等領(lǐng)域開(kāi)展技術(shù)研發(fā)和行業(yè)落地，未來(lái)將持續(xù)深耕于此，讓人工智能更好得助力產(chǎn)業(yè)數(shù)字化發(fā)展。