6月16日,在人工智能框架生態(tài)峰會(huì)2023上,中國(guó)科學(xué)院自動(dòng)化研究所(以下簡(jiǎn)稱自動(dòng)化所)所長(zhǎng)、研究員徐波正式發(fā)布“紫東太初”全模態(tài)大模型。
徐波介紹,“紫東太初”全模態(tài)大模型是在千億參數(shù)多模態(tài)大模型“紫東太初”1.0基礎(chǔ)上升級(jí)打造的2.0版本,其在語(yǔ)音、圖像和文本三模態(tài)的基礎(chǔ)上,加入視頻、傳感信號(hào)、3D點(diǎn)云等模態(tài)數(shù)據(jù),研究突破了認(rèn)知增強(qiáng)的多模態(tài)關(guān)聯(lián)等關(guān)鍵技術(shù),具備全模態(tài)理解能力、生成能力和關(guān)聯(lián)能力。
徐波發(fā)布“紫東太初”全模態(tài)大模型。自動(dòng)化所 供圖
值得一提的是,“紫東太初”2.0以自動(dòng)化所自研算法為核心,以昇騰AI硬件及昇思MindSpore AI框架為基礎(chǔ),依托武漢人工智能計(jì)算中心算力支持,著力打造全棧國(guó)產(chǎn)化通用人工智能底座。
會(huì)上,徐波與工作人員首次對(duì)外實(shí)時(shí)展示了“紫東太初”全模態(tài)大模型在音樂(lè)理解與生成、三維場(chǎng)景導(dǎo)航、信號(hào)理解、多模態(tài)對(duì)話等方面的新功能,并邀請(qǐng)現(xiàn)場(chǎng)觀眾與大模型即時(shí)互動(dòng);(dòng)中,大模型展示了其能在三維場(chǎng)景里實(shí)現(xiàn)精準(zhǔn)定位,還能夠通過(guò)圖像與聲音的結(jié)合完成場(chǎng)景分析。
據(jù)了解,自動(dòng)化所自2019年起就確立了多模態(tài)大模型布局,整合所內(nèi)圖像、文本、語(yǔ)音等研究方向的優(yōu)勢(shì)資源開(kāi)展集團(tuán)式攻關(guān),并于2021年9月成功打造“紫東太初”1.0多模態(tài)大模型,助推人工智能從“一專一能”邁向“多專多能”。“紫東太初”2.0從技術(shù)架構(gòu)上實(shí)現(xiàn)了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的全模態(tài)開(kāi)放式接入,突破了能對(duì)信息理解和生成的多模態(tài)分組認(rèn)知編解碼技術(shù)、能融合多個(gè)任務(wù)的認(rèn)知增強(qiáng)多模態(tài)關(guān)聯(lián)技術(shù)等,多模態(tài)認(rèn)知能力大幅提升。
徐波表示,目前,“紫東太初”大模型已展現(xiàn)出廣闊的產(chǎn)業(yè)應(yīng)用前景,在神經(jīng)外科手術(shù)導(dǎo)航、短視頻內(nèi)容審核、法律咨詢、醫(yī)療多模態(tài)鑒別診斷、交通違規(guī)圖像研讀等領(lǐng)域已開(kāi)始了一系列引領(lǐng)性、示范性應(yīng)用。例如,在醫(yī)療場(chǎng)景,“紫東太初”大模型部署于神經(jīng)外科機(jī)器人MicroNeuro,可實(shí)現(xiàn)在術(shù)中實(shí)時(shí)融合視覺(jué)、觸覺(jué)等多模態(tài)信息,協(xié)助醫(yī)生對(duì)手術(shù)場(chǎng)景進(jìn)行實(shí)時(shí)推理判斷。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會(huì)上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽(yáng)成功舉辦。