總部位于倫敦的初創(chuàng)公司 Stability AI 于周三推出了一款名為 Stable Audio 的新產(chǎn)品,該產(chǎn)品利用人工智能生成定制音樂曲目和音效。
Stable Audio 使用一種基于擴散的 AI 模型,可以在幾秒鐘內(nèi)從簡單的文本輸入生成定制音頻文件。用戶可以指定音樂風(fēng)格、樂器、音調(diào)和其他特征,系統(tǒng)然后自動創(chuàng)作出相匹配的歌曲、音效或樂器聲部。
Stability AI 使用輸入文本進行了測試,如“后搖滾、吉他、鼓套、低音、弦樂、歡快、振奮、情緒化、流暢、原始、史詩、多愁善感、125BPM”。結(jié)果是一首快速的大氣搖滾歌曲,BPM 為125。根據(jù) Stability 的說法,這表明 Stable Audio 可以生成多種風(fēng)格的歌曲,包括氛圍音樂、技術(shù)音樂和電子舞曲。
與以往基于人工智能的音樂生成器不同,Stable Audio 似乎能夠以長達90秒的時間生成音樂上連貫的作品,并且以44.1kHz 的專業(yè)音頻質(zhì)量。
生成的樣本音頻聽起來非常真實,幾乎不會讓人懷疑背后沒有人類作曲家。根據(jù) Stability AI 的說法,使用 Nvidia A100GPU,95秒音頻可以在不到一秒鐘內(nèi)生成。
這種技術(shù)有潛力在各種應(yīng)用中發(fā)揮作用,特別是在電影制作和游戲開發(fā)等創(chuàng)意領(lǐng)域。通過網(wǎng)絡(luò)瀏覽器可以訪問,即使對人工智能不熟悉的用戶也能輕松使用。
為了實現(xiàn)這種質(zhì)量,Stability AI 對音樂庫進行了培訓(xùn),音樂庫由 AudioSparx 提供。通過使用約80萬首歌曲、音效和樂器片段,AudioSparx 與 Stability AI 合作,并承諾將音樂庫的收入份額提供給初創(chuàng)公司 Stability Audio。作為回報,參與培訓(xùn)的歌曲的創(chuàng)作者可以通過 AudioSparx 分享 Stable Audio 的利潤。
據(jù)稱,在培訓(xùn)之前,這些創(chuàng)作人被問及是否愿意提供他們的歌曲。這個決定可能是對 Stability 在 Stable Diffusion 的培訓(xùn)素材涉及版權(quán)辯論中所面臨的大規(guī)模反對的回應(yīng)。
根據(jù) Stability AI 的說法,用戶可以免費將使用 Stable Audio 創(chuàng)建的音軌用于個人用途。商業(yè)用途需要付費訂閱。該公司的目標是創(chuàng)意專業(yè)人士,如電影制片人或游戲開發(fā)人員,他們需要快速獲得合適的背景音樂。
Stability AI 還計劃發(fā)布一個基于不同數(shù)據(jù)集訓(xùn)練的開源音樂模型。
Stable Audio 不同于 Stable Diffusion,因為它不是開源的,不像流行的圖像模型那樣。然而,F(xiàn)AQ 中表示,將很快發(fā)布一個基于其他數(shù)據(jù)集訓(xùn)練的開源模型。
Stable Audio 的基礎(chǔ)是文本到音樂的模型 Dance Diffusion,該模型是在2022年由 Harmonai 發(fā)布的,并得到了 Stability 的支持。然而,Stable Audio 是 Stability AI 音頻部門從零開始開發(fā)的模型,該部門成立于2022年4月。
對音樂使用擴散模型并不是一個新的想法。然而,Stable Audio 的強大之處在于它能夠以不同長度生成作品,訓(xùn)練過程中考慮到了這一點。
Stability AI 是這樣解釋底層技術(shù)的:Stable Audio 是一個潛在擴散模型,由幾個部分組成:變分自動編碼器 (VAE)、文本編碼器和基于 U-net 的擴散模型。 VAE 將立體聲音頻壓縮為有損、抗噪聲和可逆的潛在編碼,從而實現(xiàn)更快的生成和訓(xùn)練。 新訓(xùn)練的 CLAP 模型的凍結(jié)文本編碼器用于文本提示。 定時嵌入在訓(xùn)練期間計算并用于控制輸出音頻長度。 Stable Audio 的擴散模型是基于 Moûsai 模型的9.07億參數(shù) U 網(wǎng)。
您可以通過最近推出的網(wǎng)絡(luò)界面專門使用穩(wěn)定音頻。每月有20首時長不超過45秒的歌曲免費供個人使用。每月只需11.99美元,即可獲得500首歌曲,播放時間長達90秒,并獲得商業(yè)許可。
沒有內(nèi)容過濾器很容易導(dǎo)致抄襲
該工具還可以用來偽造流行藝術(shù)家的歌曲。到目前為止,唱片公司已經(jīng)能夠成功地對抗此類人工智能創(chuàng)作,但法律狀況仍不清楚。
Stability AI 本身在接受 Techcrunch 采訪時堅稱,它希望負責(zé)任地使用該技術(shù)。AudioSparx 的數(shù)據(jù)庫不包含流行歌曲,但許多歌曲都以知名藝術(shù)家的風(fēng)格進行標記。與谷歌的 MusicLM不同,著名藝術(shù)家的名字不會被屏蔽,至少目前還沒有。
Stable Audio 能否為 Stability AI 的商業(yè)模式帶來回報還有待觀察,該商業(yè)模式迄今為止一直處于虧損狀態(tài)。無論如何,人工智能作品的令人印象深刻的質(zhì)量讓你刮目相看。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設(shè)計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。