Music ControlNet可精確控制音樂中的時間變化

　　MusicControlNet是一款基于擴(kuò)散(diffusion)技術(shù)的音樂生成模型，旨在為文本到音樂生成模型提供多個準(zhǔn)確的、時變的音樂控制。雖然現(xiàn)代文本到音樂生成模型已經(jīng)能夠以廣泛的風(fēng)格生成高質(zhì)量音樂，但文本控制主要適用于操縱全局的音樂屬性，如流派、情緒和速度，對于精確控制音樂中時間變化的屬性，比如節(jié)奏中的拍子位置或音樂動態(tài)的變化，則表現(xiàn)不佳。

　　Music ControlNet通過提取訓(xùn)練音頻中的控制信息，細(xì)調(diào)音樂的譜圖生成模型，以給定旋律、動態(tài)和節(jié)奏控制的方式，實現(xiàn)對生成音頻的多個準(zhǔn)確時變控制。與已有的Uni-ControlNet方法相比，該模型引入了一種新的策略，允許創(chuàng)作者在時間上部分指定控制，從而為音樂創(chuàng)作提供更大的靈活性。

　　核心功能:

　　多時變控制: Music ControlNet為音樂生成提供多個時變的控制，包括旋律、動態(tài)和節(jié)奏，使創(chuàng)作者能夠更精細(xì)地操控生成音樂的各個方面。

　　擴(kuò)散技術(shù): 采用擴(kuò)散技術(shù)，通過對訓(xùn)練音頻中提取的控制信息進(jìn)行微調(diào)，實現(xiàn)對音頻譜圖的條件生成，提高生成音樂的質(zhì)量和逼真度。

　　部分指定控制: 與傳統(tǒng)模型相比，Music ControlNet引入了一種新的策略，允許創(chuàng)作者在時間上部分指定控制，為創(chuàng)作提供更大的自由度和創(chuàng)造性。

　　性能優(yōu)越性: 在與MusicGen等現(xiàn)有音樂生成模型的比較中，Music ControlNet表現(xiàn)出色，生成的音樂與輸入旋律的吻合度高達(dá)49%，同時具有更少的參數(shù)、更短的訓(xùn)練時間，以及對兩種額外形式的時變控制的支持。

　　靈活的應(yīng)用: 通過提供生成音樂的示例，包括旋律、動態(tài)和節(jié)奏的各種組合，以及對時間上部分指定控制的支持，Music ControlNet為創(chuàng)作者提供了豐富的工具，用于創(chuàng)作出具有多樣性和創(chuàng)新性的音樂作品。