谷歌推出Gemini 1.5版本：可處理100萬token

　　2月16日消息，谷歌今日宣布推出下一代型號(hào)：Gemini 1.5。谷歌稱，發(fā)布用于早期測(cè)試的第一個(gè)Gemini 1.5型號(hào)是Gemini 1.5 Pro。它是一種中型多模式模型，針對(duì)多種任務(wù)的擴(kuò)展進(jìn)行了優(yōu)化，其性能水平與迄今為止最大的模型1.0 Ultra 類似。Gemini 1.5還引入了長(zhǎng)上下文理解方面的突破性實(shí)驗(yàn)特征。

　　據(jù)雷遞報(bào)道，Gemini 1.5 Pro配備標(biāo)準(zhǔn)的128,000 令牌上下文窗口。

　　從今天開始，少數(shù)開發(fā)人員和企業(yè)客戶可以通過AI Studio和Vertex AI的私人預(yù)覽版在最多100萬個(gè)代幣的上下文窗口中進(jìn)行嘗試。

　　據(jù)介紹，Gemini 1.5建立在谷歌對(duì)Transformer和MoE架構(gòu)的領(lǐng)先研究之上。傳統(tǒng)Transformer充當(dāng)一個(gè)大型神經(jīng)網(wǎng)絡(luò)，而MoE模型則分為更小的“專家”神經(jīng)網(wǎng)絡(luò)。

　　根據(jù)給定輸入的類型，MoE 模型學(xué)會(huì)選擇性地僅激活其神經(jīng)網(wǎng)絡(luò)中最相關(guān)的專家路徑。這種專業(yè)化提高了模型的效率。

　　人工智能模型的“上下文窗口”由令牌組成，令牌是用于處理信息的構(gòu)建塊。令牌可以是文字、圖像、視頻、音頻或代碼的整個(gè)部分或子部分。模型的上下文窗口越大，它在給定提示中可以接收和處理的信息就越多，從而使其輸出更加一致、相關(guān)和有用。

　　通過一系列機(jī)器學(xué)習(xí)創(chuàng)新，Gemini 1.5 Pro增加了1.5 Pro的上下文窗口容量，超出Gemini 1.0 最初的32,000 個(gè)令牌。Gemini 1.5 Pro現(xiàn)在可以在生產(chǎn)環(huán)境中運(yùn)行多達(dá)100萬個(gè)代幣。

　　這意味著1.5 Pro 可以一次性處理大量信息，包括 1 小時(shí)的視頻、11 小時(shí)的音頻、超過30,000 行代碼或超過700,000 個(gè)單詞的代碼庫。

　　谷歌和 Alphabet 首席執(zhí)行官桑達(dá)爾·皮查伊說，上周，谷歌推出了功能最強(qiáng)大的模型Gemini 1.0 Ultra，并從Gemini Advanced 開始，在讓Google產(chǎn)品變得更加有用方面向前邁出了重要一步。今天，開發(fā)人員和云客戶也可以開始使用1.0 Ultra 進(jìn)行構(gòu)建——使用AI Studio 和Vertex AI 中的 Gemini API。