1月30日 消息:Adept Fuyu-Heavy是一種新型的多模態(tài)模型,專為數(shù)字代理設(shè)計。據(jù)稱,它是世界上第三大能力超強的多模態(tài)模型,僅次于GPT4-V和Gemini Ultra。這種模型特別擅長理解用戶界面,能夠解釋和操作各種軟件和應(yīng)用程序的界面,并且可以幫助用戶執(zhí)行自動化流程、響應(yīng)查詢以及提供信息等任務(wù)。
在多項評估和基準測試中,Adept Fuyu-Heavy展現(xiàn)出了卓越的性能。在MMM(Multimodal Multitask)基準測試中,其表現(xiàn)優(yōu)于Gemini Pro,尤其在處理多模態(tài)任務(wù)時表現(xiàn)出色。
在文本基準測試中,盡管需要分配部分容量處理圖像數(shù)據(jù),但在標準的文本只評估中,它的表現(xiàn)與Gemini Pro大體相當,甚至在MMLU(多模態(tài)語言理解)基準測試中超過了Gemini Pro。
此外,經(jīng)過有監(jiān)督的微調(diào)和直接優(yōu)化階段后,F(xiàn)uyu-Heavy在最常用的聊天評估中的表現(xiàn)與Claude2.0相當,盡管它是一個更小的模型,且部分容量用于圖像建模。在多模態(tài)性能標準方面,F(xiàn)uyu-Heavy略微優(yōu)于Gemini Pro,在VQAv2(一個視覺問答基準)和AI2D(一個圖表理解數(shù)據(jù)集)上也取得了不俗的成績。
Adept Fuyu-Heavy的主要能力包括多模態(tài)理解和生成、高效的圖像和文本處理、優(yōu)化的模型架構(gòu)、長形式對話性能、用戶界面理解以及跨模態(tài)內(nèi)容生成。這意味著它能夠處理和理解多種類型的數(shù)據(jù),如文本和圖像,并能夠基于這些數(shù)據(jù)生成相應(yīng)的輸出,使其在多模態(tài)任務(wù)上表現(xiàn)出色。
盡管需要部分容量用于圖像建模,但在標準文本基準測試中的表現(xiàn)匹敵或超越同級別的模型。此外,經(jīng)過特定訓(xùn)練階段優(yōu)化后,F(xiàn)uyu-Heavy在長形式對話和交互中表現(xiàn)出色。
它還特別擅長于理解數(shù)字用戶界面(UI),如網(wǎng)站和應(yīng)用程序,提供有效的自動化解決方案,能夠適應(yīng)和優(yōu)化數(shù)字代理的功能,如提高用戶界面理解、增強自動化決策能力、提供更準確的信息檢索和內(nèi)容生成等。最后,它還能夠生成跨越文本和圖像的內(nèi)容,適用于多種應(yīng)用場景。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設(shè)計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。