Zeng, Oscar
在過去的一年里,許多行業(yè)受疫情沖擊發(fā)展陷入停滯,人工智能應(yīng)用卻實(shí)現(xiàn)了逆勢突破。在世界人工智能大會WAIC2020上,李蘭娟院士表示,AI在疫情防控中,發(fā)揮了重要作用。
此外,AI在無人駕駛汽車等前沿領(lǐng)域也持續(xù)發(fā)力;在AI頂層設(shè)計(jì)方面,國家也不遺余力積極制定相關(guān)標(biāo)準(zhǔn),出臺了《國家新一代人工智能標(biāo)準(zhǔn)體系建設(shè)指南》,為人工智能的規(guī)范發(fā)展掃平障礙。
AI高速發(fā)展的背后,離不開“燃料”算力的助推。算力作為AI 2.0的四大要素之一,為人工智能提供計(jì)算能力的支撐。
需求倒逼創(chuàng)新
AI芯片行業(yè)將迎變革
在過去的幾十年里,基于摩爾定律,芯片行業(yè)的發(fā)展一直推動(dòng)著芯片制程和性能的穩(wěn)步提升,算力需求的增長也促進(jìn)了人工智能工作負(fù)載中大量采用專用的AI加速器(GPU、FPGA、ASIC、xPU等)。
與傳統(tǒng)的CPU架構(gòu)相比,這些加速器能夠執(zhí)行更快的AI作業(yè)和并行計(jì)算。它們?yōu)橛行?zhí)行控制ML/DL工作負(fù)載提供了專門的支持。
現(xiàn)在市場上已經(jīng)有各類 AI加速器:GPU、FPGA、ASIC等等,各種各樣的計(jì)算平臺被運(yùn)用到AI計(jì)算中。之所以會出現(xiàn)這么多各種形式的 AI 芯片,正是因?yàn)樗惴ǖ亩嘣,例如機(jī)器學(xué)習(xí)算法有 LR、GBDT,深度學(xué)習(xí)中的 CNN、DNN 等,這些算法都非常復(fù)雜,如果機(jī)器要很快地讓這些算法“跑”起來,一定需要算法的邏輯跟芯片計(jì)算的邏輯相互匹配。
據(jù)OpenAI組織發(fā)布的一份分析報(bào)告顯示,自2012年以來,在人工智能訓(xùn)練中所使用的計(jì)算量呈指數(shù)級增長,3.5個(gè)月的時(shí)間計(jì)算量就翻了一倍(相比之下,摩爾定律有18個(gè)月的倍增周期)。自2012年以來,該指標(biāo)增長了30多萬倍。按照這個(gè)趨勢,想要滿足未來AI發(fā)展的需求,芯片行業(yè)勢必要有所變革。
Graphcore IPU:專為人工智能而生
一種全新的完全可編程處理器
Graphcore是一家創(chuàng)辦于2016年的人工智能芯片設(shè)計(jì)初創(chuàng)公司,總部位于英國,以“專注于新型 AI 處理器架構(gòu),專門適用于算力密集型的機(jī)器學(xué)習(xí)任務(wù)”,入選2020年度《麻省理工科技評論》“50家聰明公司”榜單。該公司開發(fā)了一款被稱為IPU智能處理單元(intelligence processing unit)的新型AI加速器。
Graphcore IPU是專門為AI/Machine Learning設(shè)計(jì)的處理器,擁有完全不同于前面幾類處理器類型的全新架構(gòu),能夠提供強(qiáng)大的并行處理能力。Graphcore IPU區(qū)別于其他處理器的一個(gè)重要因素還在于,它實(shí)現(xiàn)了快速訓(xùn)練模型和實(shí)時(shí)操控,這使得它能夠在自然語言處理以及理解自動(dòng)駕駛方面取得重大進(jìn)展。
Graphcore 的IPU特點(diǎn)可概括為:
同時(shí)支持 Training 和 Inference;
采用同構(gòu)多核(many-core)架構(gòu),超過1000個(gè)獨(dú)立的處理器;
支持 all-to-all的核間通信,采用Bulk Synchronous Parallel的同步計(jì)算模型;
采用大量片上SRAM,不需要外部DRAM。
據(jù)介紹,IPU處理器是迄今為止最復(fù)雜的處理器芯片,它在一個(gè)16納米芯片上有幾乎240億個(gè)晶體管,每個(gè)芯片提供125 teraFLOPS運(yùn)算能力。一個(gè)標(biāo)準(zhǔn)4U機(jī)箱中可以插入8張卡,卡間通過IPU-Link互連。8張卡上的IPU可以看做一個(gè)處理器工作,提供 1.6PetaFLOPS的運(yùn)算能力。
與GPU爭鋒?
IPU:沒在怕的
英偉達(dá)公司率先于1999年提出GPU的概念,GPU使顯卡減少了對CPU的依賴,然而隨著模型越來越大,參數(shù)越來越多,面對高精度高吞吐量的需求,算力優(yōu)勢顯著的IPU也許更能代表AI芯片的發(fā)展方向。
Graphcore IPU在現(xiàn)有以及下一代模型上的性能均優(yōu)于GPU,在自然語言處理方面的速度能比GPU快25%到50%;在圖像分類方面,吞吐量7倍于GPU,而且時(shí)延更低。
Natural Language Processing-BERT
BERT (Bidirectional Encoder Representations from Transformers)是目前使用的最著名的NLP模型之一。IPU加速了BERT的訓(xùn)練和推理,在極低延遲的情況下, IPU能夠進(jìn)行實(shí)現(xiàn)2倍于目前解決方案的吞吐量,同時(shí)延遲性能比當(dāng)前的解決方案提升1.3倍。
計(jì)算機(jī)視覺:EfficientNet & ResNeXt模型
由于IPU架構(gòu)的特定特性,它非常擅長于分組卷積的模型。在計(jì)算機(jī)視覺模型如efficient entnet和ResNeXt中顯著提升了訓(xùn)練和推理的性能。
在EfficientNet推理(左圖)和訓(xùn)練(右圖)模型測試中,IPU在比GPU延遲低14倍的情況下實(shí)現(xiàn)了15倍的高吞吐量的優(yōu)勢,推理模型種子能夠?qū)崿F(xiàn)7倍于目前GPU解決方案的吞吐量。
如下圖所示,ResNeXt-101: Inference(左圖) 和 ResNeXt-50 Training(右圖)與GPU相比,Graphcore C2 IPU處理器在延遲低24倍的情況下實(shí)現(xiàn)了7倍的高吞吐量。
好馬配好鞍——IPU全軟件棧和框架支持
Graphcore提供了Poplar SDK IPU軟件開發(fā)平臺,幫助用戶高效地構(gòu)建人工智能應(yīng)用,可為當(dāng)今的領(lǐng)先模型提供開箱即用的先進(jìn)性能。
Poplar SDK可與TensorFlow、Pytorch和ONNX等流行框架一起使用。它支持高階的機(jī)器智能圖描述,可編譯加載到IPU上優(yōu)化的Poplar圖和相關(guān)的控制程序。大規(guī)模的處理器內(nèi)存意味著可以充分利用龐大的處理器內(nèi)帶寬,可將整個(gè)模型加載到IPU上。
Poplar SDK支持一系列標(biāo)準(zhǔn)框架。通過TensorFlow,Poplar SDK可直接接受XLA圖,并將XLA編譯輸出為Poplar圖和控制程序。
Graphcore還為ONNX提供了訓(xùn)練運(yùn)行時(shí)(runtime),并且正與ONNX各組織緊密合作,以將其納入ONNX標(biāo)準(zhǔn)環(huán)境中。
DSS 8440服務(wù)器:業(yè)界首款采用Graphcore技術(shù)的機(jī)器學(xué)習(xí)服務(wù)器
作為Graphcore的合作伙伴,戴爾科技希望能為用戶提供更強(qiáng)大的算力支持,將業(yè)內(nèi)領(lǐng)先的創(chuàng)新研發(fā)成果融入機(jī)器學(xué)習(xí)硬件產(chǎn)品,推出了業(yè)界首款搭載Graphcore IPU的戴爾易安信DSS 8440服務(wù)器。它屬于兩處理器插槽的4U服務(wù)器,旨在為人工智能應(yīng)用提供卓越的性能。
支持8個(gè)Graphcore C2卡(雙IPU),可提供高達(dá)1.6Peta FLOP的混合精度機(jī)器智能計(jì)算能力。
采用了多功能平衡加速器,可以搭載4個(gè)、8個(gè)或10個(gè)NVIDIA Tesla V100 GPUs以及更高達(dá)16塊T4 GPUs,用戶可以根據(jù)需要和最佳配置,有效地分配機(jī)器學(xué)習(xí)資源。
擁有高速輸入/輸出性能,利用IPU-Link的“階梯式”拓?fù),在兩個(gè)IPU C2卡之間的總體雙向帶寬為256GB/s。此配置保障了多塊IPU卡之間高速共享模型參數(shù)或數(shù)據(jù),為科學(xué)和工程環(huán)境中的建模、模擬和預(yù)測分析等計(jì)算密集型工作負(fù)載提供更優(yōu)性能。
對于分布式訓(xùn)練應(yīng)用,戴爾易安信DSS 8440服務(wù)器還提供多個(gè)100Gbps網(wǎng)絡(luò)鏈接,以實(shí)現(xiàn)服務(wù)器到服務(wù)器的可擴(kuò)展性。
搭載了Graphcore IPU的戴爾易安信DSS 8440服務(wù)器,是人工智能訓(xùn)練和推理應(yīng)用的理想之選。用戶利用DSS 8440中大量的低延遲本地存儲和強(qiáng)大的吞吐能力,可從海量的數(shù)據(jù)源中獲得更快的結(jié)果。
戴爾易安信豐富的機(jī)器學(xué)習(xí)專業(yè)知識,經(jīng)典機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的硬件和解決方案,能夠幫助AI 技術(shù)開發(fā)、研發(fā)型的初創(chuàng)小企業(yè),快速部署穩(wěn)定可靠且高算力的基礎(chǔ)架構(gòu)產(chǎn)品,支持創(chuàng)新研發(fā)提高其核心競爭力。
尊敬的讀者
隨著2021新年的到來
戴爾科技開年第一“惠”盛情來襲
助企業(yè)新的一年牛氣沖天!
多款服務(wù)器、工作站、商用筆記本
等產(chǎn)品限時(shí)優(yōu)惠
更有0元試用、現(xiàn)金紅包
等活動(dòng)等你來參與
快來掃描下方二維碼
或點(diǎn)擊文末閱讀原文
了解活動(dòng)詳情
相關(guān)內(nèi)容推薦:戴爾科技開年第一“惠”盛情來襲|爆款服務(wù)器“骨折價(jià)”限時(shí)搶購
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國柏林國際電子消費(fèi)品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場的強(qiáng)大影響力。
近日,中國家電及消費(fèi)電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。