MusicControlNet是一款基于擴散(diffusion)技術的音樂生成模型,旨在為文本到音樂生成模型提供多個準確的、時變的音樂控制。雖然現代文本到音樂生成模型已經能夠以廣泛的風格生成高質量音樂,但文本控制主要適用于操縱全局的音樂屬性,如流派、情緒和速度,對于精確控制音樂中時間變化的屬性,比如節(jié)奏中的拍子位置或音樂動態(tài)的變化,則表現不佳。
Music ControlNet通過提取訓練音頻中的控制信息,細調音樂的譜圖生成模型,以給定旋律、動態(tài)和節(jié)奏控制的方式,實現對生成音頻的多個準確時變控制。與已有的Uni-ControlNet方法相比,該模型引入了一種新的策略,允許創(chuàng)作者在時間上部分指定控制,從而為音樂創(chuàng)作提供更大的靈活性。
核心功能:
多時變控制: Music ControlNet為音樂生成提供多個時變的控制,包括旋律、動態(tài)和節(jié)奏,使創(chuàng)作者能夠更精細地操控生成音樂的各個方面。
擴散技術: 采用擴散技術,通過對訓練音頻中提取的控制信息進行微調,實現對音頻譜圖的條件生成,提高生成音樂的質量和逼真度。
部分指定控制: 與傳統(tǒng)模型相比,Music ControlNet引入了一種新的策略,允許創(chuàng)作者在時間上部分指定控制,為創(chuàng)作提供更大的自由度和創(chuàng)造性。
性能優(yōu)越性: 在與MusicGen等現有音樂生成模型的比較中,Music ControlNet表現出色,生成的音樂與輸入旋律的吻合度高達49%,同時具有更少的參數、更短的訓練時間,以及對兩種額外形式的時變控制的支持。
靈活的應用: 通過提供生成音樂的示例,包括旋律、動態(tài)和節(jié)奏的各種組合,以及對時間上部分指定控制的支持,Music ControlNet為創(chuàng)作者提供了豐富的工具,用于創(chuàng)作出具有多樣性和創(chuàng)新性的音樂作品。
文章內容僅供閱讀,不構成投資建議,請謹慎對待。投資者據此操作,風險自擔。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術、產品設計及應用方面的創(chuàng)新變革,全球領先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產品設計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術和新品亮相,以敢為精神勇闖技術無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導,由上海市人工智能行業(yè)協會聯合上海人工智能實驗室、上海臨港經濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。