云天勵(lì)飛人工智能技術(shù)研究多項(xiàng)成果再獲國(guó)際認(rèn)可。近日，將于今年4月在日本舉行的人工智能領(lǐng)域一大頂級(jí)學(xué)術(shù)會(huì)議——人工智能及統(tǒng)計(jì)學(xué)大會(huì)(International Conference on Artificial Intelligence and Statistics，簡(jiǎn)稱AISTATS會(huì)議)收錄結(jié)果揭曉，云天勵(lì)飛AI技術(shù)部王孝宇博士與美國(guó)愛荷華大學(xué)楊天寶教授領(lǐng)導(dǎo)的團(tuán)隊(duì)合作的論文《A Robust Zero-Sum Game Framework for Pool-based Active Learning》入選。該論文提出了一種基于穩(wěn)健優(yōu)化的博弈主動(dòng)學(xué)習(xí)算法，這有助于節(jié)省多種監(jiān)督學(xué)習(xí)的標(biāo)注成本。而在不久前，云天勵(lì)飛另一篇有關(guān)采用遞歸網(wǎng)絡(luò)模型解決視頻人臉關(guān)鍵點(diǎn)定位的論文被計(jì)算機(jī)視覺頂級(jí)學(xué)術(shù)期刊IJCV收錄。
用遞歸神經(jīng)網(wǎng)絡(luò) 為人臉關(guān)鍵點(diǎn)檢測(cè)建立時(shí)間和空間聯(lián)系
云天勵(lì)飛被IJCV 2018收錄的論文名為《RED-Net: A Recurrent Encoder-Decoder Network for Video-based Face Alignment》，團(tuán)隊(duì)在業(yè)界首次提出采用遞歸網(wǎng)絡(luò)模型解決視頻人臉關(guān)鍵點(diǎn)定位問題，以此來減少訓(xùn)練模型的復(fù)雜度，并實(shí)現(xiàn)對(duì)大姿態(tài)人臉和部分遮擋關(guān)鍵點(diǎn)的精確定位。此項(xiàng)工作的參與成員還包括IBM Watson研究院和新澤西州立大學(xué)。
Overview of the recurrent encoder-decoder network: (a) encoder-decoder (Section 3.1); (b) spatial recurrent learning (Section 3.2); (c) temporal recurrent learning (Section 3.3); and (d) supervised identity disentangling (Section 3.4). fenc, fdec, fsr n, ft r n, fc l s are potentially nonlinear and multi-layered mappings
據(jù)悉，傳統(tǒng)視頻人臉關(guān)鍵點(diǎn)檢測(cè)通常使用級(jí)聯(lián)化的的關(guān)鍵點(diǎn)坐標(biāo)回歸模型對(duì)關(guān)鍵點(diǎn)進(jìn)行由粗到細(xì)的定位。在進(jìn)行視頻逐幀人臉關(guān)鍵點(diǎn)定位時(shí)，通過使用上一幀人臉的檢測(cè)框和關(guān)鍵點(diǎn)信息對(duì)該幀的定位任務(wù)進(jìn)行更精確的初始化。這類級(jí)聯(lián)回歸模型不同級(jí)間并不共享參數(shù)，模型訓(xùn)練對(duì)數(shù)據(jù)量的要求較高。
An unrolled illustration of spatial recurrent learning. The response map is pretty coarse when the initial guess is far away from the ground truth if large pose and expression exist. It eventually gets refined in the successive recurrent steps
云天勵(lì)飛團(tuán)隊(duì)等在論文中提出了一種新的遞歸編碼解碼器(Recurrent Decoder-Encoder)模型結(jié)構(gòu)來解決視頻人臉關(guān)鍵點(diǎn)定位問題。在空間域上，該模型變傳統(tǒng)多級(jí)級(jí)聯(lián)模型為單一遞歸模型，大幅度減少模型的復(fù)雜度。在時(shí)間域上，該模型將編碼器生成的嵌入特征中的時(shí)變因素和時(shí)不變因素進(jìn)行解耦，并對(duì)時(shí)變部分用遞歸網(wǎng)絡(luò)進(jìn)行建模學(xué)習(xí)。
An unrolled illustration of temporal recurrent learning. Cid encodes temporalinvariant factor which subjects to the same identity constraint. Cpe encodes temporalvariant factors which is further modeled in ft R N N
相比傳統(tǒng)視頻人臉關(guān)鍵點(diǎn)處理中只使用上一幀結(jié)果初始化，這種時(shí)域遞歸網(wǎng)絡(luò)能夠?qū)W習(xí)和利用更長(zhǎng)時(shí)間范圍內(nèi)關(guān)鍵點(diǎn)的位置信息和變化規(guī)律，實(shí)現(xiàn)對(duì)大姿態(tài)人臉和部分遮擋關(guān)鍵點(diǎn)實(shí)現(xiàn)精確定位。
據(jù)介紹，與國(guó)際主流方法相比較，在7關(guān)鍵點(diǎn)和68關(guān)鍵點(diǎn)兩種模式下，采用遞歸網(wǎng)絡(luò)模型定位視頻人臉關(guān)鍵點(diǎn)的方法，在Talking Face, Face Moive 和 300VW 三個(gè)公開數(shù)據(jù)集平均誤差都顯著低于這些主流方法。
將模型訓(xùn)練和標(biāo)注選取結(jié)合 提升模型訓(xùn)練效果
大數(shù)據(jù)時(shí)代來臨，人工智能領(lǐng)域面臨的一大難題是如何獲取監(jiān)督學(xué)習(xí)所需要的大數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)標(biāo)注。對(duì)于監(jiān)督學(xué)習(xí)來說，并不是每個(gè)標(biāo)注數(shù)據(jù)對(duì)模型訓(xùn)練的幫助程度都是等同的，即有些數(shù)據(jù)對(duì)模型訓(xùn)練幫助更大。而主動(dòng)學(xué)習(xí)則是研究如何選取潛在對(duì)模型訓(xùn)練更大的未標(biāo)注數(shù)據(jù)去給予它們標(biāo)注，從而達(dá)到提升模型訓(xùn)練效果、節(jié)省人工標(biāo)注成本的目的。
不過，目前已存在的主動(dòng)學(xué)習(xí)算法大多或是基于分類模型產(chǎn)生的數(shù)據(jù)不確定性并利用一些啟發(fā)式策略進(jìn)行標(biāo)注數(shù)據(jù)選取;或是利用其它理論如信息理論、學(xué)習(xí)理論定義數(shù)據(jù)不確定性并產(chǎn)生一些優(yōu)化式策略進(jìn)行標(biāo)注數(shù)據(jù)選取。
分開進(jìn)行標(biāo)注數(shù)據(jù)選取和模型訓(xùn)練可能會(huì)存在二者步調(diào)不統(tǒng)一的情況，從而無法得最優(yōu)的結(jié)果�！禔 Robust Zero-Sum Game Framework for Pool-based Active Learning》提出的思路并不像之前其它算法那樣把模型訓(xùn)練和標(biāo)注選取兩個(gè)模塊割裂開來，而是利用博弈論將其結(jié)合在一起，并引入穩(wěn)健約束進(jìn)行優(yōu)化，以獲得最直接的標(biāo)注數(shù)據(jù)選取，以及模型訓(xùn)練效果的提升。
作者基于博弈論提出的優(yōu)化目標(biāo)函數(shù)如下：
其中w代表模型參數(shù)，如支持向量機(jī)(SVM)，深度神經(jīng)網(wǎng)絡(luò)(DNN)等;p為單個(gè)數(shù)據(jù)產(chǎn)生的損失的權(quán)重(由于是主動(dòng)學(xué)習(xí)場(chǎng)景，考慮到存在未標(biāo)注數(shù)據(jù)，作者使用的是對(duì)于所有可能標(biāo)注的期望損失
作者采取在線梯度下降(online gradient descent)更新模型參數(shù)w：
作者采取鏡像下降(mirror descent)更新數(shù)據(jù)損失權(quán)重p：
由于加入了穩(wěn)健約束，作者利用近似映射的方法矯正p：
對(duì)于方差小的數(shù)據(jù)，加入穩(wěn)健約束可以獲得更好的模型泛化效果：
當(dāng)數(shù)據(jù)方差數(shù)量級(jí)小于1/n時(shí)，泛化錯(cuò)誤將為O(1/n)而不是通常的O(1/sqrt(n)).
此外，作者運(yùn)用了在線算法的分析思路證明了算法收斂的遺憾界限(regret bound)：
最后，作者進(jìn)行了對(duì)于SVM和DNN的主動(dòng)學(xué)習(xí)實(shí)驗(yàn)，并采用了一些知名機(jī)器學(xué)習(xí)算法效果對(duì)比數(shù)據(jù)集(benchmark datasets)，效果如下 (橫軸為標(biāo)注數(shù)據(jù)數(shù)目，縱軸為測(cè)試準(zhǔn)確度，RZSG為論文提出的算法)：
MNIST
CIFAR 10
來源：XXX(非中文科技資訊)的作品均轉(zhuǎn)載自其它媒體，轉(zhuǎn)載請(qǐng)尊重版權(quán)保留出處，一切法律責(zé)任自負(fù)。
文章內(nèi)容僅供閱讀，不構(gòu)成投資建議，請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。
如發(fā)現(xiàn)本站文章存在問題，提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至news@citnews.com.cn。
近日，德國(guó)柏林國(guó)際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革，全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng)，有力證明了其在全球市場(chǎng)的強(qiáng)大影響力。
近日，中國(guó)家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相，以敢為精神勇闖技術(shù)無人區(qū)，斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦，一套流程下來都要半個(gè)月了，現(xiàn)在方便多了!”打開“重慶公積金”微信小程序，按照提示流程提交相關(guān)材料，僅幾秒鐘，重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo)，由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”，將于2024年3月23日至24日舉辦。
返回主頁 ┊ 關(guān)于我們 ┊ 內(nèi)容聯(lián)系 ┊ 聯(lián)系我們 ┊ 免責(zé)聲明 ┊ 原創(chuàng)新聞 ┊ 友情鏈接 ┊ 舊版首頁
Copyright © 2009-2024 www.3iu24w.cn 中文科技資訊|Citnews中文科技資訊,中文科技資訊網(wǎng)|科技資訊網(wǎng)|中國(guó)科技資訊|中國(guó)科技新聞網(wǎng)|中國(guó)科技資訊網(wǎng)|快科技|新科技|中文科技派頭條號(hào)|中文移動(dòng)新媒體 all rights reserved
京公網(wǎng)安備 11010502041587號(hào)