亞馬遜祭出地表最強(qiáng)全家桶，多模態(tài)Nova卻敗給Claude 3.5！

　　圍剿英偉達(dá)，數(shù)十萬(wàn)顆自研二代芯片超算在建!亞馬遜祭出地表最強(qiáng)全家桶，多模態(tài)Nova擊敗GPT-4o。

　　就在剛剛，亞馬遜推出了號(hào)稱最強(qiáng)大的多模態(tài)模型Nova系列。

　　在多項(xiàng)基準(zhǔn)測(cè)試中，最強(qiáng)的Nova Pro成功超越了GPT-4o，僅次于Gemini1.5Pro、Claude3.5Sonnet。

　　相較之下，Nova Lite和Nova Micro，就要比同級(jí)競(jìng)品差上不少了。

　　不過(guò)，它的價(jià)格非常便宜——每百萬(wàn)token的輸入價(jià)格低至0.0175美元，輸出價(jià)格低至0.07美元。

　　性能的提升，讓Amazon Nova可以處理復(fù)雜推理任務(wù)。比如分析復(fù)雜文檔、視頻，理解圖表、示意圖，生成高質(zhì)量的視頻內(nèi)容，還能構(gòu)建高級(jí)AI智能體。

　　這次推出的Amazon Nova全家桶如下:

　　Amazon Nova Micro，純文本模型，以極低的成本提供最低的延遲響應(yīng)

　　Amazon Nova Lite，成本極低的多模態(tài)模型，處理圖像、視頻和文本輸入的速度快如閃電。

　　Amazon Nova Pro，功能強(qiáng)大的多模態(tài)模型，針對(duì)各類任務(wù)的準(zhǔn)確性、速度和成本的最佳組合

　　Amazon Nova Premier，系列中復(fù)雜推理性能最強(qiáng)的多模態(tài)模型，也是支持蒸餾自定義模型的最佳教師模型

　　Amazon Nova Canvas，SOTA圖像生成模型

　　Amazon Nova Reel，SOTA視頻生成模型

　　簡(jiǎn)單的提示「dolly forward」，Amazon Nova Reel就能將單個(gè)圖像輸入轉(zhuǎn)換為簡(jiǎn)短視頻

　　創(chuàng)造力爆棚，視頻理解驚艷

　　Amazon Nova的創(chuàng)意生成模型，直接讓賣家和廣告商的廣告創(chuàng)意提升到全新的水平。

　　平均來(lái)看，使用這些工具的品牌廣告宣傳的產(chǎn)品數(shù)量直接增加了五倍，每個(gè)宣傳產(chǎn)品使用的圖片數(shù)量增加了一倍，這樣就把預(yù)算省到了更需要的地方。

　　比如下面這個(gè)Amazon Nova Reel為某個(gè)虛構(gòu)的意面品牌制作的廣告，簡(jiǎn)直太驚艷了。

　　在一座「意大利面城」中，建筑由高聳的意大利肉卷面條管雕刻而成，街區(qū)點(diǎn)綴著意大利香料景觀，街道兩旁擺滿了美味的馬里納拉醬、螺絲粉面條和嫩肉丸

　　Amazon Nova Pro的視頻理解能力也是一絕。

　　研究者要求模型觀看一場(chǎng)足球比賽的無(wú)聲視頻片段，然后把比賽內(nèi)容描述一遍。

　　結(jié)果，模型一口氣準(zhǔn)確說(shuō)出了賽制、球服、球員行動(dòng)描述以及比賽如何達(dá)到高潮的詳細(xì)信息!

　　視頻描繪了一場(chǎng)在綠地上正在進(jìn)行的足球比賽。兩隊(duì)的球員，一隊(duì)身穿黃色隊(duì)服，另一隊(duì)身穿白色隊(duì)服，正在比賽。黃隊(duì)四分衛(wèi)將球傳給接球手，接球手接住球并開(kāi)始向前跑動(dòng)。白隊(duì)的防守隊(duì)員追趕他，試圖阻止他。這場(chǎng)比賽的高潮是一次鏟球，將接球手放倒在場(chǎng)上

　　多模態(tài)實(shí)現(xiàn)SOTA

　　接下來(lái)，我們?cè)敿?xì)看一下全家桶中幾大成員的詳細(xì)信息。

　　Amazon Nova Pro:自研最強(qiáng)多模態(tài)

　　Amazon Nova Pro能夠處理多達(dá)30萬(wàn)個(gè)輸入token，并為多模態(tài)智能體工作流設(shè)定了新標(biāo)準(zhǔn)，這些工作流需要調(diào)用API和工具來(lái)完成復(fù)雜的工作流。

　　使用Amazon Nova模型執(zhí)行智能體工作流:智能體可以規(guī)劃并執(zhí)行多步動(dòng)作，利用瀏覽器和基于屏幕的用戶界面作為通用工具來(lái)自動(dòng)化終端客戶的任務(wù)

　　它在視覺(jué)問(wèn)題解答(TextVQA)和視頻理解(VATEX)等關(guān)鍵基準(zhǔn)上都實(shí)現(xiàn)了最先進(jìn)的性能。

　　在輸入300K token的情況下，它可以處理超過(guò)一萬(wàn)五千行代碼的代碼庫(kù)。Amazon Nova Pro還可作為教師模型，用于蒸餾Amazon Nova Micro和Lite的自定義變體。

　　Amazon Nova Lite:主打一個(gè)性價(jià)比

　　Amazon Nova Lite可以高精度處理實(shí)時(shí)客戶交互、文檔分析和可視化問(wèn)題解答任務(wù)。

　　該模型可處理長(zhǎng)達(dá)300K token的輸入，并能在單次請(qǐng)求中分析多張圖像或長(zhǎng)達(dá)30分鐘的視頻。

　　Amazon Nova Lite還支持文本和多模態(tài)微調(diào)，并可通過(guò)模型蒸餾等技術(shù)進(jìn)行優(yōu)化，為用戶的使用案例提供最佳的質(zhì)量和成本。

　　Amazon Nova Micro:純文本

　　Amazon Nova Micro的上下文長(zhǎng)度為128K，并針對(duì)速度和成本進(jìn)行了優(yōu)化，在文本摘要、翻譯、內(nèi)容分類、交互式聊天和頭腦風(fēng)暴以及簡(jiǎn)單的數(shù)學(xué)推理和編碼等任務(wù)中表現(xiàn)出色。

　　Amazon Nova Micro還支持使用微調(diào)和模型蒸餾對(duì)專有數(shù)據(jù)進(jìn)行定制，以提高準(zhǔn)確性。

　　將概念變?yōu)楝F(xiàn)實(shí)

　　Amazon Nova系列還包括兩款創(chuàng)意內(nèi)容的生成式模型，Amazon Nova Reel和Amazon Nova Canvas。

　　Amazon Nova Canvas:圖像生成

　　這是一個(gè)先進(jìn)的圖像生成模型，可生成工作室水準(zhǔn)級(jí)別的圖像，并可精確控制樣式和內(nèi)容，包括豐富的編輯功能，如修復(fù)、擴(kuò)圖和背景移除。

　　Amazon Nova Reel:視頻生成

　　Amazon Nova Reel支持用戶通過(guò)文本提示和圖像來(lái)控制視覺(jué)風(fēng)格和節(jié)奏，并生成專業(yè)品質(zhì)的視頻內(nèi)容，用于營(yíng)銷、廣告和娛樂(lè)。

　　價(jià)格再便宜75%，還能微調(diào)和蒸餾

　　Amazon Nova Micro、Amazon Nova Lite和Amazon Nova Pro的價(jià)格，比Amazon Bedrock中各自智能類別中性能最佳的模型至少還要便宜了75%。

　　而且，它們也是相比之下最快的模型。

　　這些模型與Amazon Bedrock集成，是一項(xiàng)支持完全托管的服務(wù)，可通過(guò)單個(gè)API使用來(lái)自領(lǐng)先AI公司和亞馬遜的高性能基礎(chǔ)模型。

　　而且，模型還支持自定義微調(diào)，允許客戶將模型指向自己專有數(shù)據(jù)中的示例，因?yàn)檫@些示例已被標(biāo)記，所以提高了準(zhǔn)確性。

　　這樣，Amazon Nova模型可以從客戶自己的數(shù)據(jù)(包括文本、圖像和視頻)中了解對(duì)客戶最重要的內(nèi)容，然后由Amazon Bedrock訓(xùn)練一個(gè)私人微調(diào)模型，提供量身定制的響應(yīng)。

　　除了支持微調(diào)之外，這些模型還支持蒸餾，從而能夠?qū)⑻囟ㄖ�識(shí)從更大、能力更強(qiáng)的「教師模型」轉(zhuǎn)移到更小、更高效的模型，后者不僅高度準(zhǔn)確，而且運(yùn)行速度更快、成本更低。

　　并且，Amazon Nova模型與Amazon Bedrock知識(shí)庫(kù)集成，還擅長(zhǎng)RAG，就能讓響應(yīng)基于客戶組織的內(nèi)部數(shù)據(jù)，來(lái)保證最佳的準(zhǔn)確性。

　　因?yàn)槟Ｐ鸵呀?jīng)過(guò)優(yōu)化，在代理性應(yīng)用中非常易于使用，還能通過(guò)多個(gè)API與組織的專有系統(tǒng)和數(shù)據(jù)進(jìn)行交互，從而執(zhí)行多步驟任務(wù)。

　　圍剿英偉達(dá)，爭(zhēng)奪AI芯片之王

　　在當(dāng)下最炙手可熱的AI芯片賽道中，挑戰(zhàn)者們正上演著一場(chǎng)激烈的「造芯」革命。

　　據(jù)市場(chǎng)研究機(jī)構(gòu)Omdia的數(shù)據(jù)顯示，在人工智能計(jì)算領(lǐng)域，數(shù)據(jù)中心運(yùn)營(yíng)商在非英偉達(dá)芯片計(jì)算機(jī)上的支出預(yù)計(jì)將于今年增長(zhǎng)49%，總額達(dá)到1，260億美元。

　　這個(gè)數(shù)字，無(wú)疑釋放出了芯片市場(chǎng)潛力無(wú)限的信號(hào)。

　　AI推理，彎道超車

　　多年來(lái)，英偉達(dá)在AI芯片領(lǐng)域一家獨(dú)大，盡管其他公司不斷嘗試，但始終未能撼動(dòng)其霸主地位。

　　但如今，局面正在發(fā)生改變。「推理計(jì)算」成為這場(chǎng)AI技術(shù)革命的關(guān)鍵詞。

　　無(wú)論是科技巨頭，還是小型初創(chuàng)，瞄準(zhǔn)了為AI研發(fā)定制芯片的賽道，比如Groq、Cerebras Systems等等。

　　Meta就是一個(gè)典型案例。雖然他們使用英偉達(dá)芯片訓(xùn)練了Llama3.1405B，但在實(shí)際為用戶提供服務(wù)時(shí)，采用的是AMD MI300s芯片。

　　不僅如此，這些新晉玩家們從英偉達(dá)身上學(xué)到了一課:單純賣芯片完全不夠了。他們開(kāi)始籌謀提供完整的計(jì)算方案，讓客戶充分發(fā)揮AI芯片的最大潛能。

　　比如，AWS就在剛剛舉辦的re:Invent大會(huì)上，宣布了基于Trainium2芯片的計(jì)算服務(wù)正式上線。并同時(shí)公布了性能更為強(qiáng)大的Trainium3芯片的研發(fā)計(jì)劃。

　　Amazon EC2Trn2UltraServers是全新推出的EC2產(chǎn)品，配備64個(gè)互聯(lián)的Trainium2芯片。

　　它由四臺(tái)服務(wù)器構(gòu)成，每臺(tái)服務(wù)器裝配16枚Tranium芯片。(英偉達(dá)最多為8枚)

　　服務(wù)器之間使用超高速的NeuronLink互連，最大可擴(kuò)展到83.2個(gè)峰值千萬(wàn)億次計(jì)算(petaflops)，是單個(gè)實(shí)例計(jì)算、內(nèi)存和網(wǎng)絡(luò)能力的四倍，這使得訓(xùn)練和部署全球最大模型成為可能。

　　亞馬遜表示，這已經(jīng)是Ultraserver在保證散熱安全的前提下所能達(dá)到的最大配置。

　　這些還不夠，AWS正在和Anthropic合作進(jìn)行「Ultracluster」超級(jí)計(jì)算機(jī)計(jì)劃。

　　他們正在構(gòu)建一個(gè)由Trn2UltraServers組成的EC2UltraCluster，并將其命名為「Project Rainier」。

　　這個(gè)被命名為「Project Rainier」的集群配備數(shù)十萬(wàn)個(gè)Trainium2芯片，計(jì)算能力是當(dāng)前領(lǐng)先AI模型訓(xùn)練需求的五倍多。

　　AWS計(jì)算和網(wǎng)絡(luò)服務(wù)部門副總裁戴夫·布朗透露，這個(gè)集群將建設(shè)在美國(guó)境內(nèi)，預(yù)計(jì)在2025年投入使用。

　　它將躋身全球最大規(guī)模的AI模型訓(xùn)練集群之列。

　　雖然亞馬遜早期推出的AI芯片，包括第一代Trainium在內(nèi)，并未在市場(chǎng)上獲得顯著反響。

　　但是對(duì)于新一代的Trainium2芯片，亞馬遜展現(xiàn)出了更強(qiáng)的信心——其運(yùn)算速度較前代產(chǎn)品提升了四倍。

　　并且，蘋果也將成為其最新芯片客戶之一。類似的，AMD也宣布將于明年推出新一代AI芯片，直接與英偉達(dá)的Blackwell系列展開(kāi)競(jìng)爭(zhēng)。

　　目前，工程師們已經(jīng)開(kāi)始對(duì)芯片進(jìn)行全方位的測(cè)試。

　　一年前發(fā)布的MI300的AI芯片，當(dāng)年就創(chuàng)造了超500億美元銷量

　　與此同時(shí)，谷歌、微軟和Meta等科技巨頭也都在開(kāi)發(fā)自己的人工智能專用芯片，旨在提升特定計(jì)算任務(wù)的處理速度并降低運(yùn)營(yíng)成本。

　　本月，谷歌將開(kāi)始推出基于其第六代自研芯片Trillium的云服務(wù)，該芯片的性能較前代產(chǎn)品提升了近5倍。

　　不過(guò)，這些公司仍在使用英偉達(dá)芯片構(gòu)建大規(guī)模計(jì)算集群。

　　老黃:免費(fèi)送，也沒(méi)用

　　盡管AI芯片新秀們?nèi)盒壑鹇�，但這并不意味著英偉達(dá)即將會(huì)失去霸主地位。

　　黃仁勛曾在斯坦福大學(xué)演講臺(tái)上，擲地有聲地表示，「即便競(jìng)爭(zhēng)對(duì)手的芯片免費(fèi)贈(zèng)送，在性價(jià)比上仍然無(wú)法與我們相提并論」。

　　這句話，道出了英偉達(dá)十足的底氣。

　　畢竟，如今市場(chǎng)中，在人工智能軟件和推理計(jì)算方面，能打的芯片非英偉達(dá)莫屬。

　　黃仁勛進(jìn)一步指出，雖然新一代Blackwell人工智能芯片的能耗有所提升，但其單位能耗的計(jì)算效率大幅提高。目前市場(chǎng)對(duì)這款芯片的需求異�；鸨�。

　　另有據(jù)場(chǎng)研究機(jī)構(gòu)IDC統(tǒng)計(jì)數(shù)據(jù)佐證了這一點(diǎn)。

　　數(shù)據(jù)顯示，2024年全球人工智能半導(dǎo)體市場(chǎng)規(guī)模預(yù)計(jì)將達(dá)到1，175億美元，并預(yù)計(jì)在2027年底進(jìn)一步擴(kuò)大至1，933億美元。

　　IDC在2023年12月發(fā)布的最新研究報(bào)告顯示，英偉達(dá)當(dāng)前在AI芯片市場(chǎng)中占據(jù)著約95%的主導(dǎo)地位。