AI視頻進(jìn)入有聲時代！谷歌發(fā)布視頻生成音頻技術(shù)，效果絲滑驚艷網(wǎng)友！

　　Runway前腳剛發(fā)布Gen-3Alpha，Google后腳就跟了個王炸。

　　北京時間6月18日凌晨，Google Deepmind發(fā)布了視頻生成音頻（Video-to-Audio，V2A）技術(shù)的進(jìn)展，可以為視頻創(chuàng)建戲劇性的背景音樂，逼真的音效，甚至是人物之間的對話。

　　V2A技術(shù)支持為AI生成視頻“配樂”，Google還特別強調(diào)了官網(wǎng)發(fā)布的Demo視頻都是由自家在五月份發(fā)布的生成視頻模型“Veo”和V2A技術(shù)合作打造。

　　有不少網(wǎng)友表示，這下終于可以給用Luma生成的meme視頻配上聲音了!

　　從Google Deepmind官網(wǎng)發(fā)布的Blog上看，V2A技術(shù)會采用視頻像素和文本提示來生成與底層視頻同步的音頻波形。

　　首先，V2A會對視頻和文本提示進(jìn)行編碼，并通過擴散模型迭代運行，將隨機噪聲細(xì)化為與視頻和所提供的文本提示相匹配的真實音頻，最后再對音頻進(jìn)行解碼并與視頻數(shù)據(jù)相結(jié)合。

　　X網(wǎng)友紛紛表示太贊了，但就是有一個小小小小的問題，和同樣是凌晨發(fā)布的Runway的視頻生成模型Gen-3Alpha一樣，這又是一個大家都用不上的超贊模型，到底啥時候開源讓咱們試試水!

　　先不急，我們先嘗嘗官方發(fā)布的Demo咸淡!

　　Google認(rèn)為，AI視頻生成模型飛速發(fā)展，但市面上的大多數(shù)模型，不管是Sora、Luma，還是剛剛發(fā)布的Gen-3Alpha，都只能生成無聲視頻。

　　而Google所研發(fā)的V2A技術(shù)能夠使AI視頻進(jìn)入“有聲時代”，進(jìn)一步推動AI在視聽方面的完善與發(fā)展。

　　從Demo視頻來看，其效果真的挺絲滑的，怪不得Google“夸下�？�”!

　　比如這個，畫面中一個人從前走到后，可以聽到令人不安的背景音樂和嘎吱嘎吱的腳步聲。

　　【提示:電影、驚悚片、恐怖片、音樂、緊張感、氛圍、混凝土上的腳步聲。Prompt for audio: Cinematic， thriller， horror film， music， tension， ambience， footsteps on concrete】

　　諸如此類的視頻配樂還有小恐龍破殼的聲音、打鼓的音樂聲、車流聲等等。

　　【提示:可愛的小恐龍鳴叫、叢林氛圍、雞蛋破裂。Prompt for audio: Cute baby dinosaur chirps， jungle ambience， egg cracking】

　　【提示:音樂會舞臺上的鼓手被閃爍的燈光和歡呼的人群包圍。Prompt for audio: A drummer on a stage at a concert surrounded by flashing lights and a cheering crowd】

　　【提示:汽車打滑、汽車發(fā)動機節(jié)流、天使般的電子音樂。Prompt for audio: cars skidding， car engine throttling， angelic electronic music】

　　Google還強調(diào)，V2A技術(shù)之所以能夠在卷得要命的AI視頻圈“脫穎而出”，是因為該技術(shù)可以理解原始像素，因而哪怕不輸入文本提示，只要用戶提供視頻，該技術(shù)也可以為其“配樂”。

　　例如，下面視頻中的吉他聲和自行車聲是在沒有任何提示的情況下合成的。

　　V2A技術(shù)也可以生成人物對話，比如下面視頻中角色所說的臺詞，“這只火雞看起來棒極了，我好餓啊(this turkey looks amazing， I'm so hungry)”。

　　不過從視頻中看，人物唇形與臺詞并不完全匹配，因為視頻模型不會生成與轉(zhuǎn)錄文本相匹配的嘴部動作，Google也承認(rèn)這一部分仍在研究完善當(dāng)中。

　　此外，V2A技術(shù)還支持為視頻輸入生成無限數(shù)量的音軌，用戶可以選擇定義“正提示”來引導(dǎo)生成所需的聲音，或定義“負(fù)提示”來引導(dǎo)遠(yuǎn)離不需要的聲音。

　　這種靈活性使用戶能夠更好地控制V2A的音頻輸出，從而可以快速嘗試不同的音頻輸出，并選擇最佳匹配。

　　下面三個視頻是Google放出的Demo，我們猜測Google是想說明用戶可以用不同的文本提示來定向地修改配樂中的一些要素，不過好像不太明顯

　　【提示:一艘宇宙飛船在浩瀚的太空中疾馳，星星從它身邊飛過，速度很快，科幻感。Prompt for audio: A spaceship hurtles through the vastness of space， stars streaking past it， high speed， Sci-fi】

　　【提示:空靈的大提琴氛圍。Prompt for audio: Ethereal cello atmosphere】

　　【提示:一艘宇宙飛船在浩瀚的太空中疾馳，星星從它身邊飛過，速度很快，科幻效果。Prompt for audio: A spaceship hurtles through the vastness of space， stars streaking past it， high speed， Sci-fi】

　　雖然該技術(shù)還未開源，但從現(xiàn)有的Demo來看，待其開源之時，必將又掀起AI視頻圈一陣大風(fēng)浪。

　　屆時我們估計能看到AI圈“大混戰(zhàn)”——Runway的Gen-3Alpha剛生成一個視頻，隔壁V2A就給它把音樂配好了;Meme變視頻還沒玩夠呢，用戶們已經(jīng)等不及給它配上聲音了。

　　AI視頻圈，到底要“卷”成什么樣?!