谷歌發(fā)布PaLI-3視覺語言模型 小體量達(dá)到SOTA！

　　10月27日消息:谷歌最新發(fā)布的PaLI-3視覺語言模型(PaLI-3)在小體量下實(shí)現(xiàn)了SOTA性能，引起廣泛關(guān)注。這款模型以更小的體量和更快的推理速度實(shí)現(xiàn)更強(qiáng)大的性能，是谷歌去年推出的多模態(tài)大模型PaLI的升級(jí)版。

　　通過對(duì)比預(yù)訓(xùn)練方法，研究人員深入研究了視覺-文本(VIT)模型的潛力，從而在多語言模態(tài)檢索中達(dá)到了SOTA水平。這一成功凸顯了較小規(guī)模模型在實(shí)際應(yīng)用和高效研究中的重要性，提供了強(qiáng)大性能和低參數(shù)需求的替代方案，有望推動(dòng)視覺語言領(lǐng)域的發(fā)展。

　　視覺語言模型在人工智能領(lǐng)域發(fā)揮著重要作用，PaLI-3將自然語言理解和圖像識(shí)別完美融合，成為AI創(chuàng)新的先鋒。與其他模型如OpenAI的CLIP和Google的BigGAN類似，這些具有文本描述和圖像解碼能力的模型推動(dòng)了計(jì)算機(jī)視覺、內(nèi)容生成和人機(jī)交互等領(lǐng)域的發(fā)展，成為科學(xué)研究和商業(yè)發(fā)展的核心力量。

　　PaLI-3的內(nèi)部結(jié)構(gòu)采用了預(yù)訓(xùn)練的VIT-G14作為圖像編碼器，并使用SigLIP的訓(xùn)練方法，其中VIT-G14的20億參數(shù)是PaLI-3的基石。對(duì)比預(yù)訓(xùn)練在圖像和文本嵌入后關(guān)聯(lián)特征層面，將視覺和文本特征合并后輸入到30億參數(shù)的UL2編碼-解碼器語言模型中，實(shí)現(xiàn)了精確的文本生成，也可用于特征任務(wù)的查詢提升，如視覺問答(VQA)。

　　總的來說，PaLI-3在視覺語言模型領(lǐng)域表現(xiàn)出色，特別在定位和視覺文本理解等任務(wù)中取得了卓越的性能。它的基于SigLIP的對(duì)比預(yù)訓(xùn)練方法開辟了多語言跨模態(tài)檢索的新時(shí)代。這一模型在多個(gè)任務(wù)和數(shù)據(jù)集上都展現(xiàn)出杰出表現(xiàn)，為視覺語言領(lǐng)域的研究和應(yīng)用帶來了新的可能性。

　　雖然PaLI-3尚未完全開源，但已發(fā)布了多語言和英文SigLIP Base、Large和So400M模型，為感興趣的研究人員提供了嘗試的機(jī)會(huì)。這一創(chuàng)新有望影響視覺語言模型的未來發(fā)展方向，提供更高效的解決方案。