Rhymes AI發(fā)布首款開源多模態(tài)AI模型Aria 性能超越GPT-4o mini等多家知名AI模型

　　最近，日本東京的初創(chuàng)公司 Rhymes AI 推出了他們的首款人工智能模型 ——Aria。該公司自稱，Aria 是全球首個(gè)開源的多模態(tài)混合專家(MoE)模型。這個(gè)模型不僅具有處理多種輸入模態(tài)的能力，還聲稱在能力上與一些知名的商業(yè)模型不相上下，甚至更勝一籌。

　　Aria 的設(shè)計(jì)理念是希望能夠在文本、代碼、圖像和視頻等多種輸入形式上，提供卓越的理解和處理能力。與傳統(tǒng)的 Transformer 模型不同，MoE 模型通過多個(gè)專業(yè)的專家來替代其前饋層。當(dāng)處理每個(gè)輸入令牌時(shí)，一個(gè)路由模塊會(huì)選擇一部分專家進(jìn)行激活，從而提高計(jì)算效率，減少每個(gè)令牌的激活參數(shù)數(shù)量。

　　Aria 的解碼器每個(gè)文本令牌可以激活35億個(gè)參數(shù)，整個(gè)模型擁有249億個(gè)參數(shù)。為了處理視覺輸入，Aria 還設(shè)計(jì)了一款輕量級(jí)的視覺編碼器，擁有4.38億個(gè)參數(shù)，可以將各種長度、大小和縱橫比的視覺輸入轉(zhuǎn)換為視覺令牌。此外，Aria 的多模態(tài)上下文窗口達(dá)到64，000個(gè)令牌，意味著它能處理更長的輸入數(shù)據(jù)。

　　在訓(xùn)練方面，Rhymes AI 共分為四個(gè)階段，先用文本數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，再引入多模態(tài)數(shù)據(jù)，接著是長序列的訓(xùn)練，最后進(jìn)行微調(diào)。

　　在此過程中，Aria 總共使用了6.4萬億個(gè)文本令牌和4000億個(gè)多模態(tài)令牌進(jìn)行預(yù)訓(xùn)練，數(shù)據(jù)來自 Common Crawl 和 LAION 等知名數(shù)據(jù)集，并進(jìn)行了部分合成增強(qiáng)。

　　根據(jù)相關(guān)基準(zhǔn)測(cè)試，Aria 在多個(gè)多模態(tài)、語言和編程任務(wù)中表現(xiàn)優(yōu)于 Pixtral-12B 和 Llama-3.2-11B 等模型，并且因激活參數(shù)較少，推理成本也較低。

　　此外，Aria 在處理帶有字幕的視頻或多頁文檔時(shí)表現(xiàn)良好，其理解長視頻和文檔的能力超過了 GPT-4o mini 和 Gemini1.5Flash等其他開源模型。

　　為便于使用，Rhymes AI 將 Aria 的源代碼以 Apache2.0許可證形式發(fā)布在 GitHub 上，支持學(xué)術(shù)和商業(yè)使用。同時(shí)，他們還提供了一個(gè)訓(xùn)練框架，可以在單個(gè) GPU 上對(duì) Aria 進(jìn)行多種數(shù)據(jù)源和格式的微調(diào)。值得一提的是，Rhymes AI 與 AMD 達(dá)成了合作，以優(yōu)化模型性能，展示了一款名為 BeaGo 的搜索應(yīng)用，該應(yīng)用能夠在 AMD 硬件上運(yùn)行，為用戶提供更全面的文本和圖像 AI 搜索結(jié)果。