亞馬遜集中優(yōu)勢(shì)資源打造“最具野心”的大語(yǔ)言模型

　　本文來(lái)自于微信公眾號(hào) InfoQ(ID:infoqchina)，編譯 | 凌敏、核子可樂。

　　亞馬遜“最具野心”的大語(yǔ)言模型，將會(huì)是什么樣?

　　1.亞馬遜被曝組建新團(tuán)隊(duì)研發(fā)大語(yǔ)言模型

　　據(jù)外媒 Insider 近日?qǐng)?bào)道，亞馬遜 CEO Andy Jassy 目前正直接領(lǐng)導(dǎo)一支新團(tuán)隊(duì)，負(fù)責(zé)開發(fā)該公司最具野心的 AI 項(xiàng)目。

　　Jassy 告知亞馬遜的 S-team(由20多名高管組成的亞馬遜最高決策團(tuán)隊(duì))，他將提拔 Alexa 首席科學(xué)家兼高級(jí)副總裁 Rohit Prasad 作為自己的直接下屬，向他直接匯報(bào)。目前 Jassy 共有16名直接下屬，包括 Devices and Services 高級(jí)副總裁 Dave Limp、零售業(yè)務(wù)負(fù)責(zé)人 Doug Herrington、云計(jì)算 CEO Adam Selipsky 以及 CFO Brian Olsavsky 等。

　　根據(jù) Insider 獲得的一封內(nèi)部郵件，Prasad 將在新位置上組織建立新的技術(shù)小組，致力于為亞馬遜打造“最具野心”的大語(yǔ)言模型。

　　大語(yǔ)言模型是 AI 工具中的底層技術(shù)，能夠從巨大的訓(xùn)練數(shù)據(jù)集中學(xué)會(huì)生成與人類相似的響應(yīng)結(jié)果。OpenAI、谷歌和 Meta 等企業(yè)都已建立起規(guī)模龐大、功能強(qiáng)勁的大語(yǔ)言模型，并在全球范圍起掀起熱潮。亞馬遜之前也有相關(guān)布局，成果包括 Alexa Techer Model 和 Titan。

　　在6月末發(fā)出的這封郵件中，Jassy 稱 Prasad 將領(lǐng)導(dǎo)一支“中央小組”，負(fù)責(zé)構(gòu)建亞馬遜“最具泛用性”的大語(yǔ)言模型。

　　“簡(jiǎn)單說一下，Prasad 將調(diào)任新崗位，負(fù)責(zé)領(lǐng)導(dǎo)一支中央小組并構(gòu)建我們最具泛用性的大語(yǔ)言模型。雖然我們已經(jīng)在公司內(nèi)部構(gòu)建起多個(gè)大語(yǔ)言模型，還有另外幾個(gè)項(xiàng)目也在推進(jìn)，但這次我們將集中優(yōu)勢(shì)資源打造最具野心的大語(yǔ)言模型，并由 Prasad 領(lǐng)導(dǎo)這支隊(duì)伍。在新崗位上，Prasad 將向我直接報(bào)告。”

　　資料顯示，Prasad 統(tǒng)領(lǐng) Alexa 團(tuán)隊(duì)已經(jīng)超過十年，同時(shí)他也是 Dave Limp 領(lǐng)導(dǎo)的亞馬遜 Devices and Services 團(tuán)隊(duì)中的一員，并將繼續(xù)承擔(dān)這方面工作。

　　根據(jù) Insider 看到的另一封郵件，就在 Jassy 于6月宣布上述決定后不久，Limp 在團(tuán)隊(duì)內(nèi)部發(fā)出通告，稱 Prasad 仍將是“Alexa 的關(guān)鍵合作伙伴與支持者，并將在我們的未來(lái)業(yè)務(wù)中發(fā)揮重要作用。”這封郵件稱，亞馬遜 Devices 副總裁 Daniel Rausch 將接掌 Alexa 產(chǎn)品與業(yè)務(wù)組織，包括各娛樂、合作伙伴參與及跨國(guó)團(tuán)隊(duì)。

　　Limp 在郵件中強(qiáng)調(diào)，“我們?cè)?Alexa 的使命和愿景上沒有動(dòng)搖，對(duì)于我們向客戶交付新發(fā)明、新成果的能力，我也比以往任何時(shí)候都更加樂觀。”有消息顯示，亞馬遜最近還啟動(dòng)另一個(gè)新項(xiàng)目，希望利用類似 ChatGPT 的技術(shù)讓 Alexa 變得更智能、更富個(gè)性化。

　　目前關(guān)于 Prasad 領(lǐng)導(dǎo)的新團(tuán)隊(duì)并未有更多消息流出，但可以看到，亞馬遜在這場(chǎng)大模型競(jìng)賽中已經(jīng)準(zhǔn)備好了，至于未來(lái)能帶來(lái)什么樣的驚喜，還需要交給時(shí)間。

　　2.亞馬遜入局“大模型之戰(zhàn)”

　　根據(jù) Insider 之前的報(bào)道，亞馬遜正急于應(yīng)對(duì)生成式 AI 的迅速崛起。盡管亞馬遜過去數(shù)十年間一直致力于 AI 技術(shù)研究，但微軟、OpenAI 和谷歌等競(jìng)爭(zhēng)對(duì)手明顯取得了一定優(yōu)勢(shì)，Meta 最新的 Llama2模型也在整個(gè)科技行業(yè)內(nèi)掀起了波瀾。為此，亞馬遜決定在新計(jì)劃中立足亞馬遜云科技事業(yè)部組建新團(tuán)隊(duì)，專注于幫助客戶使用生成式 AI 產(chǎn)品。

　　亞馬遜的 AI 產(chǎn)品布局

　　在這場(chǎng)大模型競(jìng)賽中，亞馬遜云科技已經(jīng)交出過不少答卷。今年4月，亞馬遜推出了 Amazon Bedrock 服務(wù)、Amazon Titan 大語(yǔ)言模型，以及 AI 編碼助手 Amazon CodeWhisperer。

　　其中，Amazon Bedrock 既提供自研的大語(yǔ)言基礎(chǔ)模型—— Amazon Titan Text 、Amazon Titan Embeddings，也與 AI21Labs、Anthropic、Stability AI 等基礎(chǔ)模型提供商廣泛合作，助力企業(yè)輕松靈活構(gòu)建生成式 AI 應(yīng)用，降低所有開發(fā)者的使用門檻。

　　Andy Jassy 在此前接受 CNBC 采訪時(shí)表示，“大多數(shù)企業(yè)都想要用上大語(yǔ)言模型，但頂尖 AI 模型需要幾十億美元和長(zhǎng)達(dá)數(shù)年的訓(xùn)練成本和周期，用戶肯定不想親自動(dòng)手。因此，他們希望能在規(guī)模夠大、性能更好的基礎(chǔ)模型之上工作，再根據(jù)自身需求對(duì)其做出定制。而這，就是 Bedrock 的基本定位。”

　　Amazon Titan 基礎(chǔ)模型可以識(shí)別和刪除客戶提交給定制模型的數(shù)據(jù)中的有害內(nèi)容，拒絕用戶輸入不當(dāng)內(nèi)容，過濾模型中不當(dāng)內(nèi)容的輸出結(jié)果。Titan 系列模型分為兩種，一種是用于內(nèi)容生成的文本模型，另一種是可創(chuàng)建矢量嵌入的嵌入模型，用于創(chuàng)建高效搜索功能等。

　　AI 模型經(jīng)常會(huì)出現(xiàn)“一本正經(jīng)地胡說八道”現(xiàn)象，盡管輸出內(nèi)容看似有理有據(jù)、令人信服，但實(shí)際上并沒有相關(guān)訓(xùn)練數(shù)據(jù)可以支撐。針對(duì) AI “幻覺”問題，亞馬遜云科技副總裁 Bratin Saha 此前在接受外媒采訪時(shí)表示，亞馬遜非常關(guān)心準(zhǔn)確性，并努力確保 Titan 模型能夠生成高質(zhì)量的響應(yīng)結(jié)果。

　　據(jù)外媒報(bào)道，十幾年前起就一直在亞馬遜工作的 Sivasubramanian 表示，亞馬遜在 AI 領(lǐng)域已經(jīng)持續(xù)投入二十多年，亞馬遜云科技目前擁有超過10萬(wàn)家 AI 相關(guān)客戶。他同時(shí)補(bǔ)充稱，亞馬遜也一直在使用 Titan 的微調(diào)版本交付主頁(yè)上的搜索結(jié)果。

　　Amazon CodeWhisperer 則是一款面向個(gè)人開發(fā)者免費(fèi)使用的輔助代碼編寫工具，是一種人工智能代碼生成擴(kuò)展，目標(biāo)是提高軟件開發(fā)者的工作效率。CodeWhisperer 可以更快地完成更多工作，避免軟件開發(fā)人員花費(fèi)大量時(shí)間編寫非常簡(jiǎn)單且無(wú)差別的代碼，CodeWhisperer 作為 AI 編碼伴侶，它能根據(jù)開發(fā)人員的自然語(yǔ)言評(píng)論和集成開發(fā)環(huán)境 ( IDE ) 中的先前代碼實(shí)時(shí)生成代碼建議，從根本上提高開發(fā)人員的工作效率。

　　“大型語(yǔ)言模型和生成式 AI 對(duì)亞馬遜意義重大”

　　在發(fā)布上述 AI 服務(wù) / 產(chǎn)品的同一天，亞馬遜還發(fā)布了2022年度股東信，Jassy 在信中提到，公司正大力投資大型語(yǔ)言模型和生成式 AI。

　　Jassy 表示，LLM 和生成式 AI 是能讓“亞馬遜未來(lái)幾十年可以在每個(gè)業(yè)務(wù)領(lǐng)域都進(jìn)行創(chuàng)新的核心”，將顯著加速亞馬遜已經(jīng)深耕了25年的機(jī)器學(xué)習(xí)的應(yīng)用，他稱生成式 AI 具有變革性，對(duì)客戶、股東和亞馬遜來(lái)說都意義重大:

　　“亞馬遜研發(fā)自己的 LLM 已有一段時(shí)間了，相信它將改變并改善幾乎每一種客戶體驗(yàn)，并將繼續(xù)在所有我們的消費(fèi)者、賣家、品牌和創(chuàng)作者體驗(yàn)中大量投資這些模型。

　　與多年來(lái)亞馬遜云科技的發(fā)展路徑一樣，我們正在推動(dòng)各種規(guī)模的公司都可以利用生成式人工智能。亞馬遜云科技提供了最具性價(jià)比的機(jī)器學(xué)習(xí)芯片 Trainium 和 Inferentia，使得小型和大型公司都可以負(fù)擔(dān)得起在生產(chǎn)中訓(xùn)練和運(yùn)行他們的 LLMs。

　　亞馬遜的商業(yè)客戶可以從各種 LLMs 中進(jìn)行選擇，并使用客戶喜好的所有 AWS 安全、隱私和其他功能構(gòu)建應(yīng)用程序。此外，我們正在提供像 AWS CodeWhisperer 這樣的應(yīng)用程序，它通過實(shí)時(shí)生成代碼建議來(lái)革命性地提高開發(fā)者的生產(chǎn)力。”

　　Jassy 最后提到，他本可以用生成式人工智能寫一整封信，但他要把這封信留到未來(lái)。大型語(yǔ)言模型和生成式人工智能對(duì)客戶、股東和亞馬遜來(lái)說都將是一件大事。