Silo AI面向歐洲推新開源語(yǔ)言模型“Poro” 涵蓋歐盟24種語(yǔ)言

　　芬蘭赫爾辛基的人工智能初創(chuàng)公司Silo AI本周發(fā)布了Poro，這是一個(gè)旨在提升歐洲語(yǔ)言多語(yǔ)言人工智能能力的新開源大型語(yǔ)言模型(LLM)。Poro是計(jì)劃中的首個(gè)開源模型，旨在最終涵蓋歐盟所有24種官方語(yǔ)言。這些模型由Silo AI的SiloGen生成人工智能部門和圖爾庫(kù)大學(xué)的TurkuNLP研究小組共同開發(fā)。

　　Silo AI的首席執(zhí)行官Peter Sarlin在接受VentureBeat采訪時(shí)表示:“這是數(shù)字主權(quán)的問題，你希望確保有模型捕捉到價(jià)值基礎(chǔ)、文化和語(yǔ)言。最終，這是關(guān)于價(jià)值創(chuàng)造，確保不僅歐洲，而且任何公司都能創(chuàng)造價(jià)值，能夠創(chuàng)建在歐洲內(nèi)部和在組織內(nèi)部保持的專有模型。”

　　Poro34B模型擁有34.2億參數(shù)，以芬蘭語(yǔ)中“馴鹿(reindeer)”一詞命名，采用BLOOM變壓器架構(gòu)和ALiBi嵌入。它在覆蓋英語(yǔ)、芬蘭語(yǔ)以及編程語(yǔ)言如Python和Java的21萬(wàn)億標(biāo)記多語(yǔ)言數(shù)據(jù)集的分區(qū)上進(jìn)行訓(xùn)練。Poro目前正在芬蘭卡亞尼的LUMI，歐洲最快的超級(jí)計(jì)算機(jī)上進(jìn)行訓(xùn)練，該計(jì)算機(jī)提供了512個(gè)AMD Instinct MI250X GPU，能夠提供74拍千億次的計(jì)算能力。

　　Sarlin表示，Poro的設(shè)計(jì)目的是解決為歐洲低資源語(yǔ)言(如芬蘭語(yǔ))訓(xùn)練性能卓越的核心挑戰(zhàn)。通過利用跨語(yǔ)言訓(xùn)練方法，模型能夠利用來自高資源語(yǔ)言(如英語(yǔ))的數(shù)據(jù)。

　　作為對(duì)透明度的承諾的一部分，SiloGen將通過Poro Research Checkpoints計(jì)劃記錄Poro的訓(xùn)練進(jìn)展。Sarlin解釋說:“我們將在模型訓(xùn)練的各個(gè)階段發(fā)布檢查點(diǎn)，這是相當(dāng)新穎的做法。目前還沒有類似的倡議提供如此透明的模型訓(xùn)練信息。”根據(jù)Silo AI發(fā)布的基準(zhǔn)數(shù)據(jù)，Poro在僅完成30%的訓(xùn)練時(shí)就取得了最先進(jìn)的結(jié)果。

　　Sarlin相信像Poro這樣的開源模型代表了人工智能的未來，為主要科技公司封閉的模型提供了透明和道德的替代方案。他說:“我個(gè)人認(rèn)為最終會(huì)有很多開源替代品。未來最安全的道路是實(shí)際上走向開源，并完全了解這些模型是如何構(gòu)建的以及架構(gòu)是什么。”

　　Silo AI計(jì)劃在整個(gè)訓(xùn)練過程中繼續(xù)發(fā)布定期的Poro檢查點(diǎn)。最終目標(biāo)是創(chuàng)建一整套覆蓋所有歐洲語(yǔ)言的開源模型家族。如果初步結(jié)果有任何跡象，Poro可能很快將對(duì)大科技公司構(gòu)成競(jìng)爭(zhēng)壓力。

　　Poro代表了Silo AI與芬蘭圖爾庫(kù)大學(xué)之間持續(xù)合作的一部分。該合作將Silo AI的應(yīng)用人工智能專業(yè)知識(shí)和計(jì)算資源與圖爾庫(kù)大學(xué)在多語(yǔ)言語(yǔ)言建模研究方面的領(lǐng)導(dǎo)力相結(jié)合。Sarlin表示，這代表了行業(yè)和學(xué)術(shù)界如何共同推動(dòng)人工智能能力發(fā)展，特別是對(duì)于低資源的歐洲語(yǔ)言。

　　Poro的發(fā)布標(biāo)志著自然語(yǔ)言處理領(lǐng)域開放協(xié)作和透明度的新時(shí)代。Poro Research Checkpoints等倡議為整個(gè)社區(qū)提供了先前被科技巨頭封鎖的工具和見解的訪問途徑。Sarlin說:“我們與安聯(lián)、勞斯萊斯、本田、飛利浦等大型品牌合作。我們聽說這些大型企業(yè)對(duì)最終的法規(guī)會(huì)是什么樣子以及他們可以使用哪些模型非常關(guān)切。”

　　如果Poro兌現(xiàn)其承諾，它可能使人們能夠以民主的方式訪問性能卓越的多語(yǔ)言模型，為歐洲提供了一個(gè)與美國(guó)科技公司系統(tǒng)相抗衡的本土替代方案。盡管仍處于早期階段，但Poro在將語(yǔ)言人工智能從專有領(lǐng)域引入開源方面代表著一個(gè)重要的里程碑。