近期,中國(guó)香港中文大學(xué)和 SmartMore 的研究人員推出了一種名為 Mini-Gemini 的新穎框架,通過增強(qiáng)多模態(tài)輸入處理來推動(dòng) VLMs 的發(fā)展。Mini-Gemini 采用了雙編碼器系統(tǒng)和一種新穎的補(bǔ)丁信息挖掘技術(shù),結(jié)合一個(gè)特別策劃的高質(zhì)量數(shù)據(jù)集,使其能夠有效處理高分辨率圖像并生成內(nèi)容豐富的視覺和文本內(nèi)容,從而使其脫穎而出。
Mini-Gemini 的方法論包括一個(gè)雙編碼器系統(tǒng),其中包括一個(gè)卷積神經(jīng)網(wǎng)絡(luò),用于精細(xì)處理圖像,增強(qiáng)視覺標(biāo)記而不增加它們的數(shù)量。它利用補(bǔ)丁信息挖掘來提取詳細(xì)的視覺線索。該框架在一個(gè)復(fù)合數(shù)據(jù)集上進(jìn)行訓(xùn)練,將高質(zhì)量的圖像文本對(duì)和面向任務(wù)的指令相結(jié)合,以提高模型性能和應(yīng)用范圍。Mini-Gemini 兼容各種大型語言模型(LLMs),參數(shù)范圍從2B 到34B,實(shí)現(xiàn)了高效的任意推斷。這一設(shè)置使 Mini-Gemini 在零樣本基準(zhǔn)測(cè)試中取得了卓越的成績(jī),并支持高級(jí)多模態(tài)任務(wù)。
在評(píng)估 Mini-Gemini 的有效性時(shí),該框架在幾個(gè)零樣本基準(zhǔn)測(cè)試中展示了領(lǐng)先的表現(xiàn)。具體來說,在 MM-Vet 和 MMBench 基準(zhǔn)測(cè)試中,它超越了 Gemini Pro 模型,分別獲得了79.6和75.6的分?jǐn)?shù)。當(dāng)配置為 Hermes-2-Yi-34B 時(shí),Mini-Gemini 在 VQAT 基準(zhǔn)測(cè)試中取得了令人矚目的70.1分,超過了現(xiàn)有的 LLaVA-1.5模型在所有評(píng)估指標(biāo)上的表現(xiàn)。這些結(jié)果驗(yàn)證了 Mini-Gemini 在處理復(fù)雜的視覺和文本任務(wù)時(shí)的高效性和精度。
該研究介紹了 Mini-Gemini,通過雙編碼器系統(tǒng)、補(bǔ)丁信息挖掘和高質(zhì)量數(shù)據(jù)集推動(dòng)了 VLMs 的發(fā)展。Mini-Gemini 在多個(gè)基準(zhǔn)測(cè)試中展現(xiàn)了出色的性能,超越了現(xiàn)有模型,標(biāo)志著多模態(tài)人工智能能力的重要進(jìn)步。
然而,正如研究人員所承認(rèn)的那樣,Mini-Gemini 在視覺理解和推理能力方面仍有改進(jìn)空間,他們斷言未來的工作將探索視覺理解、推理和生成的高級(jí)方法。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國(guó)柏林國(guó)際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場(chǎng)的強(qiáng)大影響力。
近日,中國(guó)家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。