微軟使用了新硬件 稱必應(yīng)搜索AI性能提高10倍

　　3月27日消息，據(jù)VentureBeat報(bào)道，微軟今天宣布，通過使用專門為人工智能(AI)計(jì)算開發(fā)的硬件，使其機(jī)器學(xué)習(xí)模型的性能提高10倍以上，而這些模型可以為必應(yīng)(Bing)搜索引擎提供強(qiáng)大支持。

　　微軟的新系統(tǒng)被稱為Brainwave，它的設(shè)計(jì)目的是接受訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)，盡可能快地運(yùn)行它，并使其延遲時(shí)間最短。其目標(biāo)是為應(yīng)用程序提供大致實(shí)時(shí)的AI預(yù)測(cè)，比如新的必應(yīng)功能。此舉是微軟向其云客戶提供的又一項(xiàng)支持，讓其云客戶可以盡快運(yùn)行他們自己的硬件驅(qū)動(dòng)AI模型。

　　必應(yīng)今天還進(jìn)行了多項(xiàng)功能更新，包括在用戶將鼠標(biāo)指針懸停在不太常用單詞上面的時(shí)候給出解釋，并給出了如何回答問題的多種方式。這些功能都是由Brainwave額外支持的。

　　微軟正在使用來自英特爾的現(xiàn)場(chǎng)可編程門陣列(FPGA)來進(jìn)行AI計(jì)算。FPGA基本上就是空白畫布，開發(fā)者可以通過發(fā)送新的軟件來部署各種不同的電路。這提供了可編程性和性能的有趣組合，因?yàn)楫a(chǎn)生的電路對(duì)特定的應(yīng)用程序(如AI計(jì)算)進(jìn)行了優(yōu)化，可以在不構(gòu)建新芯片的情況下進(jìn)行改進(jìn)。

　　這種硬件讓微軟不僅能夠創(chuàng)建更快的模型，而且還可以構(gòu)建更復(fù)雜的AI系統(tǒng)，如果不應(yīng)用專門的硬件，這些系統(tǒng)將需要大量的計(jì)算能力。例如，比為CPU構(gòu)建的版本相比，必應(yīng)的Turing Prototype 1模型復(fù)雜了10倍，這是由于使用Brainwave帶來的計(jì)算能力增加的結(jié)果。雖然Brainwave版本更加復(fù)雜，但微軟也能以10倍以上的速度從這個(gè)模型中獲得結(jié)果。

　　微軟的AI計(jì)算方法不同于其他同行，比如谷歌創(chuàng)建了自己的張量處理單元(TPU)芯片來提供類似的功能。與FPGA不同，谷歌的TPU一旦構(gòu)建就不能重新配置，谷歌通過使其芯片架構(gòu)盡可能廣泛地處理各種潛在情況來應(yīng)對(duì)這一問題。

　　微軟公司已經(jīng)部署的FPGA有專用的數(shù)字信號(hào)處理器，用于對(duì)AI所需的某些特定類型的數(shù)學(xué)進(jìn)行優(yōu)化。通過這種方式，公司能夠獲得與構(gòu)建特定應(yīng)用程序的集成電路(ASIC，如TPU)相同的好處。

　　亞馬遜有“基礎(chǔ)設(shè)施即服務(wù)”的實(shí)例，其中包括通過云計(jì)算的附加FPGA，不過該公司還沒有詳細(xì)討論自己對(duì)硬件的使用。

　　Brainwave系統(tǒng)由幾個(gè)組件組成，首先是微軟在全球數(shù)據(jù)中心部署的成千上萬的FPGA。該公司的大多數(shù)服務(wù)器都有FPGA板，連接到頂部的網(wǎng)絡(luò)交換機(jī)上。這使得服務(wù)器能夠處理軟件定義的網(wǎng)絡(luò)操作，但也為微軟提供了硬件加速計(jì)算池，而不是每個(gè)服務(wù)器都綁定一個(gè)FPGA。

　　舉例來說，Brainwave可以在多個(gè)FPGA之間分配一個(gè)模型，同時(shí)處理少量的CPU來支持它們。如果一個(gè)機(jī)器學(xué)習(xí)模型需要使用多個(gè)FPGA，那么微軟的系統(tǒng)就會(huì)將它們捆綁到公司所稱的“硬件微服務(wù)”中，然后將其傳遞給Brainwave編譯器，以便在可用的硅上分配工作負(fù)載。

　　這個(gè)編譯器將采用一個(gè)已訓(xùn)練完成的模型，使用像TensorFlow(源自谷歌)或微軟認(rèn)知工具包(也稱為CNTK)的AI編程框架創(chuàng)建，并將其轉(zhuǎn)換為一個(gè)中間表示，然后可以通過多個(gè)FPGA進(jìn)行拆分，以獲得最佳性能。

　　微軟并沒有優(yōu)化每個(gè)在FPGA上執(zhí)行的模型，而是在其芯片上創(chuàng)建了一個(gè)軟處理器，它的設(shè)計(jì)目的是為機(jī)器學(xué)習(xí)推理提供通用的執(zhí)行環(huán)境。這樣，開發(fā)人員就不必花費(fèi)時(shí)間來優(yōu)化單個(gè)陣列，同時(shí)也可享受硬件加速計(jì)算的好處。

　　很難將微軟的Brainwave與其他類似系統(tǒng)相比較，因?yàn)樗�的論文僅為專有的神經(jīng)網(wǎng)絡(luò)提供了具體的性能指標(biāo)。這并不是說微軟在這方面是獨(dú)一無二的，谷歌的論文也指出其TPU是如何為公司本土算法提供性能數(shù)據(jù)的。

　　微軟并沒有將其Brainwave測(cè)試的結(jié)果與GPU進(jìn)行比較，后者已經(jīng)成為AI計(jì)算的熱門選擇。FPGA對(duì)這些芯片的好處在于，它們不需要大量使用批量計(jì)算。

　　允許微軟在FPGA上獲得高性能的關(guān)鍵創(chuàng)新技術(shù)之一是使用新的8到9位浮點(diǎn)數(shù)據(jù)類型。微軟發(fā)現(xiàn)，這些數(shù)據(jù)類型提供了超過定點(diǎn)數(shù)據(jù)類型(比如8-16位整數(shù))的性能提升，并且之需要最少的訓(xùn)練就可以利用這些數(shù)據(jù)類型。

　　微軟也開始在它的數(shù)據(jù)中心部署特殊的設(shè)備，其中包括沒有其他服務(wù)器組件的FPGA。這樣，該公司就能更好地處理來自Brainwave的負(fù)載，因?yàn)樗�可以增加軟編程硬件的�?shù)量，而不用增加更多的服務(wù)器。雖然更復(fù)雜的模型通常需要多個(gè)CPU，但它們不需要每個(gè)FPGA都有一個(gè)CPU。

　　微軟對(duì)使用FPGA加速AI計(jì)算并不陌生。該公司的必應(yīng)團(tuán)隊(duì)于2012年開始與硬件團(tuán)隊(duì)合作，此后一直在增加對(duì)這些芯片的使用。這一消息也對(duì)英特爾有利，英特爾在2015年收購(gòu)了FPGA制造商Altera，這筆價(jià)值167億美元的交易為前者提供了滿足微軟需求的燃料。

　　現(xiàn)在，微軟正致力于向外界開放Brainwave系統(tǒng)。FPGA已經(jīng)為其智能API的部分認(rèn)知服務(wù)提供動(dòng)力，這些API允許人們?cè)跊]有AI的情況下將智能功能嵌入到他們的應(yīng)用程序中。該公司還計(jì)劃通過它的必應(yīng)企業(yè)服務(wù)，來為企業(yè)客戶提供今天所討論的Brainwave驅(qū)動(dòng)的文本理解能力。

　　沿著這條路走下去，我們很可能會(huì)看到通過微軟Azure提供的Brainwave服務(wù)，這樣客戶就可以在微軟的FPGA上部署他們自己的模型。