阿里巴巴研究團(tuán)隊最近推出的Qwen-Audio系列為大規(guī)模音頻語言模型領(lǐng)域帶來了重大突破。該系列通過采用層次標(biāo)簽的多任務(wù)框架,成功解決了有限的預(yù)訓(xùn)練音頻模型面臨的多樣化任務(wù)的挑戰(zhàn)。
相比之前專注于語音的工作,Qwen-Audio不僅包含人類語音,還涵蓋了自然聲音、音樂和歌曲,實現(xiàn)了在具有不同粒度的數(shù)據(jù)集上的協(xié)同訓(xùn)練。該模型在語音感知和識別任務(wù)方面表現(xiàn)出色,而無需進(jìn)行特定任務(wù)的修改。
Qwen-Audio的多任務(wù)框架有助于減輕干擾,實現(xiàn)了在基準(zhǔn)任務(wù)上的顯著性能。Qwen-Audio-Chat作為擴(kuò)展,不僅支持多輪對話,還適用于各種音頻中心場景,展示了在大規(guī)模音頻語言模型中全面的音頻交互能力。
盡管大規(guī)模語言模型在通用人工智能方面表現(xiàn)出色,但它們?nèi)狈σ纛l的理解。Qwen-Audio系列的推出填補(bǔ)了這一空白,將預(yù)訓(xùn)練擴(kuò)展到30個任務(wù)和多種音頻類型。
Qwen-Audio系列的訓(xùn)練方法分為兩種:Qwen-Audio采用多任務(wù)預(yù)訓(xùn)練方法,優(yōu)化音頻編碼器同時凍結(jié)語言模型權(quán)重;相反,Qwen-Audio-Chat采用監(jiān)督微調(diào),優(yōu)化語言模型同時固定音頻編碼器權(quán)重。這一訓(xùn)練過程包括多任務(wù)預(yù)訓(xùn)練和監(jiān)督微調(diào),使Qwen-Audio-Chat具有多樣的人際交互能力,支持從音頻和文本輸入中的多語言、多輪對話。
Qwen-Audio在各種基準(zhǔn)任務(wù)上表現(xiàn)出色,明顯優(yōu)于沒有特定任務(wù)微調(diào)的對照組。它在AAC、SWRT ASC、SER、AQA、VSC和MNA等任務(wù)上始終超越基線,同時在CochlScene、ClothoAQA和VocalSound上取得了最先進(jìn)的結(jié)果,展示了其在挑戰(zhàn)性音頻任務(wù)中的有效性和能力。
Qwen-Audio系列未來的探索方向包括擴(kuò)展不同音頻類型、語言和特定任務(wù)的能力。通過優(yōu)化多任務(wù)框架或探索替代的知識共享方法,可以解決協(xié)同訓(xùn)練中的干擾問題。
研究人員還計劃通過不斷更新基于新基準(zhǔn)、數(shù)據(jù)集和用戶反饋的內(nèi)容,提高通用音頻理解水平。Qwen-Audio-Chat將進(jìn)一步優(yōu)化以符合人類意圖,支持多語言互動,并實現(xiàn)動態(tài)多輪對話。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設(shè)計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強(qiáng)大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。