近日,AI Benchmark發(fā)布了最新Mobile SoCs推理測試結(jié)果。在這份備受AI圈關(guān)注的“戰(zhàn)報(bào)”中,紫光展銳5G芯片T770取得了86.2K的不俗成績。
AI Benchmark是全球權(quán)威AI性能評測平臺,由蘇黎世聯(lián)邦理工學(xué)院計(jì)算機(jī)視覺實(shí)驗(yàn)室出品。這個(gè)實(shí)驗(yàn)室由計(jì)算機(jī)視覺領(lǐng)域著名學(xué)者Luc Van Gool, 醫(yī)療影像教授Ender Konukoglu,以及計(jì)算機(jī)視覺及系統(tǒng)教授Fisher Yu的研究組組成,是整個(gè)歐洲乃至世界最頂尖的CV/ML研究機(jī)構(gòu)之一。
AI Benchmark涵蓋了26組測試,共計(jì)78個(gè)測試子項(xiàng),包括了目標(biāo)識別、目標(biāo)分類、人臉識別、光學(xué)字符識別、圖像超分,圖像增強(qiáng)、語義分割、語義增強(qiáng)等AI場景,從CPU、AI加速器對INT8和FP16模型的推理速度、準(zhǔn)確性、初始化時(shí)間等數(shù)據(jù)全方位衡量平臺/設(shè)備的AI能力。因此,AI Benchmark可以從比較客觀的角度評估芯片的AI 性能。
在12個(gè)維度的測試?yán),共?jì)102個(gè)測試數(shù)據(jù),T770有超過59.8%的數(shù)據(jù)超過競品。
具體表現(xiàn)在圖片分類、并發(fā)場景 (量化模型)、目標(biāo)檢測、文字識別、語義分割、圖像超分、圖像分割、深度估計(jì)、圖像增強(qiáng)、視頻超分、自動(dòng)文本生成等場景 。
接下來,讓我們從幾個(gè)關(guān)鍵的測試維度看下T770 AI性能的具體表現(xiàn):
逐項(xiàng)拆解之MobileNet
首先來看較為經(jīng)典的MobileNet神經(jīng)網(wǎng)絡(luò)維度。這里稍微提一下MobileNet的由來:谷歌在2017年提出了專注于移動(dòng)端或者嵌入式設(shè)備中的輕量級CNN網(wǎng)絡(luò),其最大的創(chuàng)新點(diǎn)是提出了深度可分離卷積。mobileNet-V2是對mobileNet-V1的改進(jìn),是一種輕量級的神經(jīng)網(wǎng)絡(luò)。mobileNet-V2保留了V1版本的深度可分離卷積,增加了線性瓶頸(Linear Bottleneck)和倒殘差(Inverted Residual),而MobileNet-V3是谷歌基于MobileNet-V2之后的又一項(xiàng)力作,在精度和時(shí)間上均有提高。MobileNet-V3做了哪些修改呢?它引入了SE結(jié)構(gòu)、修改了尾部結(jié)構(gòu)和channel的數(shù)量,做了非線性變換的改變。MobileNet-V3提供了兩個(gè)版本,一個(gè)是mobileNet-V3 Large,也就是AI Benchmark這次測試用的版本,另一個(gè)是MobileNet-V3 Small版本,分別對應(yīng)了對計(jì)算和存儲要求高與低的版本。
AI-Benchmark主要選取了V2和V3 Large兩個(gè)版本進(jìn)行測試。下圖這個(gè)數(shù)據(jù)柱狀圖表達(dá)的是什么意思呢?這里包含了CPU、AI加速器分別對于量化和浮點(diǎn)模型的處理表現(xiàn),主要從推理速度和準(zhǔn)確性兩個(gè)維度去評估平臺/設(shè)備的AI能力,時(shí)間單位是毫秒。
灰色的柱形圖代表競品,紫色的代表T770。可以看到,在mobileNet-V2維度,T770在CPU量化、CPU浮點(diǎn)、加速器量化的處理上基本是優(yōu)于競品的。加速器浮點(diǎn)上略有差距,在mobileNet-V3 Large維度,T770在CPU量化、CPU浮點(diǎn)、加速器浮點(diǎn)的處理上是優(yōu)于競品的,加速器量化上略有差距,兩者數(shù)據(jù)各有千秋,從MobileNet神經(jīng)網(wǎng)絡(luò)整體維度,T770優(yōu)于競品。
逐項(xiàng)拆解之Inception-V3
Inception-V3 架構(gòu)的主要思想是 factorized convolutions (分解卷積) 和 aggressive regularization (激進(jìn)的正則化)?梢钥吹,在精度基本一致的情況下,在CPU浮點(diǎn)、加速器量化這兩個(gè)關(guān)鍵維度上,T770運(yùn)行Inception-V3的運(yùn)行速度更快,加速器浮點(diǎn)模型數(shù)據(jù)的運(yùn)行速度上略有差距,但精度略優(yōu)于競品,如下圖所示:
逐項(xiàng)拆解之EfficientNet
EfficientNet是谷歌研究人員在一篇 ICML 2019 論文《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》中提出的一種新型模型縮放方法。可以看到,T770運(yùn)行EfficientNet的表現(xiàn)與競品相當(dāng),在CPU浮點(diǎn)、加速器量化、加速器浮點(diǎn)模型數(shù)據(jù)的運(yùn)行速度上均有優(yōu)勢。
剛才提到的MobileNet、Inception-V3、EfficientNet網(wǎng)絡(luò)結(jié)構(gòu)常用于圖像分類、目標(biāo)檢測、語義分割等技術(shù)開發(fā)中。這些神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可應(yīng)用的常見場景有手機(jī)相冊中的相冊分類,手勢識別等,工業(yè)上可用于快遞分揀、頭盔檢測、頭盔識別等場景,在醫(yī)學(xué)領(lǐng)域會(huì)用于皮膚真菌識別等應(yīng)用。當(dāng)然這些神經(jīng)網(wǎng)絡(luò)所能支撐的場景,不限于剛剛介紹到的,可利用這些AI能力開發(fā)出更多的基于對物體/事物的分類場景。
T770在這些神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上的不俗表現(xiàn)表明:T770有更全面、更強(qiáng)大的能力去支撐這些場景的開發(fā)。
逐項(xiàng)拆解之Inception-V3 Parallel
接下來再看Inception-V3 Parallel (NN-INT8),你肯定會(huì)想,怎么又來一個(gè)Inception-V3,剛才不是show過了?是重復(fù)了嗎?搞錯(cuò)了嗎?當(dāng)然沒有!這里介紹的是Inception-V3 Parallel的能力,即同時(shí)處理多個(gè)Inception-V3,對應(yīng)的是平臺/設(shè)備對于AI并發(fā)處理的能力,怎么去理解這個(gè)并發(fā)處理呢?舉個(gè)栗子吧,哦,今天忘記帶栗子了,不好意思(╯▽╰)。
簡單來講,就是應(yīng)用程序同時(shí)下發(fā)多個(gè)任務(wù)處理,再簡單點(diǎn)講就是,同時(shí)在做兩件事情或多件事情,比如圖片分類和手勢識別同時(shí)進(jìn)行。還不明白?再簡單點(diǎn),就好比人在吃飯的同時(shí)刷抖音短視頻。
OK,我們來看下具體數(shù)據(jù),下圖顯示的是AI加速器對1/2/4/8個(gè)量化模型同時(shí)處理的能力,可以明顯看到,T770在AI多任務(wù)處理能力上占有明顯優(yōu)勢。
逐項(xiàng)拆解之Yolo-v4 Tiny
我們再看Yolo-V4 Tiny結(jié)構(gòu),它是Yolo-V4的精簡版,屬于輕量化模型,參數(shù)只有600萬,相當(dāng)于原來的十分之一,這使檢測速度有了很大提升,非常有利于在端側(cè)進(jìn)行部署,在智能安防領(lǐng)域中已有大量應(yīng)用,比如車輛識別、人員識別、路徑預(yù)測和跟蹤、行為分析、安全帽識別等。
先看下具體數(shù)據(jù),如下圖,除加速器量化模型部分略有不足之外,其他均有優(yōu)勢,如CPU量化、浮點(diǎn),加速器浮點(diǎn)等。
逐項(xiàng)拆解之DPED – ResNet
再看一下T770在DPED - ResNet處理維度的表現(xiàn),解釋一下,DPED是DSLR Photo Enhancement Dataset,而DSLR指的是Digital Single Lens Reflex Camera,即數(shù)碼單反相機(jī)。講到這一點(diǎn),不得不提到一篇論文《DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks》,這是一篇發(fā)布于2017年關(guān)于圖像增強(qiáng)的神經(jīng)網(wǎng)絡(luò)論文,大概成果就是將手機(jī)照片作為輸入,將DSLR相機(jī)拍出的照片作為target,通過網(wǎng)絡(luò)使其學(xué)習(xí)到一個(gè)映射函數(shù),目的是讓手機(jī)拍出單反相機(jī)照片的效果。
基于DPED,我們可以將老舊或低質(zhì)量的照片轉(zhuǎn)化為高質(zhì)量的照片,而且轉(zhuǎn)化效果很好,可用于照片美化等應(yīng)用場景。如下圖,可以看到T770在對DPED - ResNet處理的錯(cuò)誤率一致的情況下,錯(cuò)誤率都很低,處理速度上有明顯優(yōu)勢。
逐項(xiàng)拆解之LSTM
接下來,我們再看一下T770在長短期記憶網(wǎng)絡(luò)(Long-Short Term Memory,LSTM)方面的性能。由于獨(dú)特的設(shè)計(jì)結(jié)構(gòu),LSTM適合處理和預(yù)測時(shí)間序列中間隔和延遲非常長的重要事件。LSTM的表現(xiàn)通常比時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)及隱馬爾科夫模型(HMM)更好,比如用在不分段連續(xù)手寫識別上。
2009年,用LSTM構(gòu)建的人工神經(jīng)網(wǎng)絡(luò)模型贏得ICDAR手寫識別比賽冠軍。LSTM還普遍應(yīng)用在自主語音識別,2013年,運(yùn)用TIMIT自然演講數(shù)據(jù)庫實(shí)現(xiàn)了17.7%錯(cuò)誤率紀(jì)錄。作為非線性模型,LSTM可作為復(fù)雜的非線性單元,用于構(gòu)造更大型深度神經(jīng)網(wǎng)絡(luò)。
下圖可以看到,T770在對LSTM處理的錯(cuò)誤率一致的情況下,處理速度上有著明顯優(yōu)勢。
逐項(xiàng)拆解之U-Net
U-Net是比較早的使用全卷積網(wǎng)絡(luò)進(jìn)行語義分割的算法之一,因網(wǎng)絡(luò)形狀酷似U而得名。圖像語義分割(Semantic Segmentation)是圖像處理和機(jī)器視覺技術(shù)中,關(guān)于圖像理解的重要一環(huán),也是 AI 領(lǐng)域中一個(gè)重要的分支。語義分割對圖像中每一個(gè)像素點(diǎn)進(jìn)行分類,確定每個(gè)點(diǎn)的類別(如屬于背景、人或車等),從而進(jìn)行區(qū)域劃分。目前,語義分割已經(jīng)被廣泛應(yīng)用于自動(dòng)駕駛、無人機(jī)落點(diǎn)判定等場景中。U-Net在醫(yī)學(xué)領(lǐng)域也得到了應(yīng)用,比如醫(yī)學(xué)圖像解析,也就是從一副醫(yī)療圖像中,識別出特定的人體部位,比方說“前列腺”、“肝臟”等等。
下圖可以看到,T770和競品對U-net處理的錯(cuò)誤率都極低,而T770在擁有極低錯(cuò)誤率的同時(shí),處理速度明顯占優(yōu)。
好了,數(shù)據(jù)對比分析先講這么多,大家如果對T770在其他AI場景下的性能數(shù)據(jù)感興趣,可前往AI Benchmark官網(wǎng)自行查看。
以上可以看到,T770有著不俗的AI性能,可以助力用戶在相冊分類、物體分類、智能美圖、背景虛化、渲染、語音助手、智能家居、車牌識別,人臉識別、視頻超分辨率應(yīng)用場景中的落地實(shí)施,并且在滿足常見CV/NLP應(yīng)用場景下,可以同時(shí)滿足實(shí)時(shí)、高并發(fā)的AI場景需求,如車牌識別、人臉識別等。
看罷T770的AI性能精彩展現(xiàn),你是否會(huì)有疑問,T770是如何做到在AI上大放異彩的呢?下面我們來簡單介紹下。
T770擁有多個(gè)可用于AI加速的設(shè)備,當(dāng)然,有時(shí)候你擁有的資源越多,并不是一件好事,因?yàn)閷Y源的識別、管理和調(diào)度,會(huì)是一件極其困難的事情。所以,如何使T770上多個(gè)AI加速設(shè)備協(xié)同合作,并發(fā)揮出最大效能成為我們技術(shù)研發(fā)最主要的挑戰(zhàn)。
大家都知道三個(gè)和尚挑水喝的故事:一個(gè)和尚挑水喝,兩個(gè)和尚抬水喝,三個(gè)和尚沒水喝。
故事很簡單,道理也很簡單,借這個(gè)故事,這里想表達(dá)的是三個(gè)核心問題:
一、任務(wù)來了,誰能干?
二、任務(wù)來了,誰來干更合適?
三、安排好活了,干活的是否積極?
為了解決上述問題,紫光展銳開發(fā)了兩大核心技術(shù):
1)Smart Schedule :采用智能算法,精準(zhǔn)識別每個(gè)AI任務(wù)最適合在哪個(gè)加速器里進(jìn)行處理,然后進(jìn)行分配,使其隨才器使;
2)Device Boost:采用智能調(diào)節(jié)算法,根據(jù)推理任務(wù)大小,智能調(diào)節(jié)加速器負(fù)載,使其張弛有度。
得益于紫光展銳開發(fā)的這兩大核心技術(shù),T770在AI性能上大放異彩,AI多變場景下,可以助力用戶實(shí)現(xiàn)豐富的AI場景化落地。
而且,紫光展銳將持續(xù)針對多種AI場景進(jìn)行優(yōu)化,屆時(shí),T770的AI性能將得到更大提升,創(chuàng)新不止,敬請期待!
注:本文測試數(shù)據(jù)來源于AI Benchmark官網(wǎng)發(fā)布
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會(huì)上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。