AI生成視頻：有點(diǎn)驚艷，有點(diǎn)離譜

　　本文來(lái)自微信公眾號(hào)“定焦”(ID:dingjiaoone)，作者:黎明，編輯:魏佳。

　　AI生成的視頻，正在入侵互聯(lián)網(wǎng)。

　　此前，我們已經(jīng)見識(shí)了完全由AI制成的科幻預(yù)告片《Trailer:Genesis》，以及用AI合成的《芭比海默》預(yù)告片。這兩部腦洞大開的片子，讓我們見識(shí)了AI的神奇。

　　現(xiàn)在，越來(lái)越多AI視頻工具正在被開發(fā)出來(lái)，批量制造短視頻和電影片段，其生成效果讓人驚嘆，使用門檻卻低到“令人發(fā)指”。

　　比如用Pika生成的這個(gè):

　　用Runway Gen-2生成的這個(gè):

　　以及用Neverends生成的這個(gè):

　　不需要復(fù)雜的代碼，也不需要深?yuàn)W的指令，只需要一句話，或者一張圖片，AI就能自動(dòng)生成動(dòng)態(tài)視頻。如果想修改，同樣只需要一句話，指哪改哪。喜歡做視頻的同學(xué)，再也不用四處找素材、熬夜剪輯了。

　　在創(chuàng)投圈，視頻生成類AI正在取代大語(yǔ)言模型，成為近期最熱門的賽道。前段時(shí)間出圈的Pika，給這團(tuán)火又添了一把柴。

　　AI視頻這陣風(fēng)，能吹多久?

　　AI生成視頻，這次有點(diǎn)東西

　　用AI生成一段視頻不是什么難事，區(qū)別在于生成什么樣的視頻。

　　經(jīng)常剪視頻的人可能知道“一鍵成片”，在剪映等視頻工具里輸入腳本，系統(tǒng)可直接生成與腳本匹配的視頻;在一些數(shù)字人平臺(tái)上傳一張照片，AI生成一個(gè)數(shù)字人，在口播時(shí)能自動(dòng)對(duì)口型。

　　這是AI，但不是我們今天討論的AI。

　　本文提到的AI生成視頻，指的是生成有連續(xù)邏輯的視頻，內(nèi)容之間有關(guān)聯(lián)性與協(xié)同性。它不是根據(jù)腳本把圖片素材拼接成視頻形式，也不是用程序驅(qū)動(dòng)數(shù)字人“動(dòng)手動(dòng)嘴”。它更接近于“無(wú)中生有”，實(shí)現(xiàn)難度更高。

　　比如以下這段視頻，就靠一句指令生成:

　　視頻中的汽車、樹葉、光影，是AI靠自己的知識(shí)儲(chǔ)備和經(jīng)驗(yàn)“畫”出來(lái)的，或者說是“瞎編”的。當(dāng)然，是根據(jù)用戶的要求“瞎編”。

　　再看以下這段視頻，就靠一張靜態(tài)圖片，AI自動(dòng)拓展成視頻。

　　圖片中的人物、船只、水流本來(lái)都是靜止的，AI將它們變成了動(dòng)態(tài)。

　　AI還可以對(duì)原視頻進(jìn)行擴(kuò)充，把場(chǎng)景“補(bǔ)”齊，比如從只有上半身擴(kuò)充到全身，以及構(gòu)造出人物背后的全景。這跟最近很火的AI擴(kuò)圖有點(diǎn)像，AI根據(jù)自己的理解，以小見大，以樹木見森林。

　　以上三種生成視頻的方式，就是現(xiàn)在流行的AI視頻“三件套”:文生視頻、圖生視頻、視頻生視頻。簡(jiǎn)言之，無(wú)論是文字、圖片還是視頻，都能作為原始素材，通過AI生成新的視頻。

　　從技術(shù)角度，這依托跨模態(tài)大模型。在輸入端，輸入自然語(yǔ)言、圖像、視頻等形式的指令，最后都能在輸出端以視頻的形式呈現(xiàn)。

　　生成只是第一步，后續(xù)還能用AI修改。

　　請(qǐng)看X網(wǎng)友發(fā)布的一段視頻:

　　這個(gè)視頻體現(xiàn)了兩個(gè)重要的功能:一鍵換裝，一鍵增減物品。這也是Pika在1.0版本上線時(shí)重點(diǎn)介紹的功能。在Pika的宣傳片中，只需要一句話輸入指令，就能給猩猩戴上墨鏡，給一位行走中的女士換裝。

　　這其中的厲害之處不在換裝，而在換裝的方式——用自然語(yǔ)言的方式下指令，且整個(gè)過程非常絲滑，毫無(wú)違和感。通過AI，人們能夠輕松編輯并重構(gòu)視頻的場(chǎng)景。

　　AI還能改變視頻風(fēng)格，動(dòng)漫、卡通、電影，通通不在話下，比如將現(xiàn)實(shí)中的實(shí)拍鏡頭轉(zhuǎn)換為卡通世界，它的效果跟P圖軟件的濾鏡有點(diǎn)像，但更高級(jí)。

　　現(xiàn)在用AI生成的視頻，已經(jīng)能達(dá)到以假亂真的效果，國(guó)內(nèi)還有一批公司在研發(fā)更新的技術(shù)。

　　這兩排人物，每排的六個(gè)人動(dòng)作都一模一樣，就像“一個(gè)模子里刻出來(lái)的”。沒錯(cuò)，它們就是通過人物靜態(tài)圖片，綁定骨骼動(dòng)畫生成的。

　　這是阿里研究院正在進(jìn)行的一個(gè)項(xiàng)目，叫Animate Anyone，它能讓任何人動(dòng)起來(lái)。除了阿里，字節(jié)跳動(dòng)等公司也在研發(fā)類似技術(shù)，且技術(shù)迭代很快。

　　效果很好，但別高興太早

　　用簡(jiǎn)單的自然語(yǔ)言讓AI生成定制化的視頻，給行業(yè)帶來(lái)的興奮跟去年的ChatGPT差不多。

　　文生視頻的原理與文生圖像類似，但由于視頻是連續(xù)的多幀圖像，所以相當(dāng)于在圖像的基礎(chǔ)上增加了時(shí)間維度。這就像快速翻動(dòng)一本漫畫書，每頁(yè)靜止的畫面連起來(lái)，人物和場(chǎng)景就 “動(dòng)”起來(lái)了，形成了時(shí)間連續(xù)的人像動(dòng)畫。

　　華創(chuàng)資本投資人張金對(duì)「定焦」分析，視頻是一幀一幀構(gòu)成的，比如一幀有24張圖片，那么AI就要在很短時(shí)間內(nèi)生成24張圖片，雖然有共同的參數(shù)，但圖片之間要有連貫性，過渡要自然還是很有難點(diǎn)。

　　目前主流的文生視頻模型，主要依托Transformer模型和擴(kuò)散模型。通過Transformer模型，文本在輸入后能夠被轉(zhuǎn)化為視頻令牌，進(jìn)行特征融合后輸出視頻。擴(kuò)散模型在文生圖基礎(chǔ)上增加時(shí)間維度實(shí)現(xiàn)視頻生成，它在語(yǔ)義理解、內(nèi)容豐富性上有優(yōu)勢(shì)。

　　現(xiàn)在很多廠商都會(huì)用到擴(kuò)散模型，Runway的Gen2、Meta的Make-A-Video，都是這方面的代表。

　　不過，跟任何技術(shù)一樣，剛開始產(chǎn)品化時(shí)讓人眼前一亮，同時(shí)也會(huì)有一些漏洞。

　　Pika、Runway等公司，在宣傳片中展示的效果非常驚艷，我們相信這些展示是真實(shí)的，也的確有人在測(cè)試中達(dá)到類似的效果，但問題也很明顯——輸出不穩(wěn)定。

　　不論是昨日明星Gen-2，還是當(dāng)紅炸子雞Pika，都存在這個(gè)問題，這幾乎是所有大模型的通病。在ChatGPT等大語(yǔ)言模型上，它體現(xiàn)為胡說八道;在文生視頻模型上，它讓人哭笑不得。

　　瀚皓科技CEO吳杰茜對(duì)「定焦」說，可控性是文生視頻當(dāng)前最大的痛點(diǎn)之一，很多團(tuán)隊(duì)都在做針對(duì)性的優(yōu)化，盡量做到生成視頻的可控。

　　張金表示，AI生成視頻確實(shí)難度比較大，AI既要能理解用戶輸入的語(yǔ)義，圖與圖之間還要有語(yǔ)義連貫性。

　　AI生成視頻的評(píng)估標(biāo)準(zhǔn)，通常有三大維度。

　　首先是語(yǔ)義理解能力，即AI能不能精準(zhǔn)識(shí)別用戶的指令。你讓它生成一個(gè)少女，它生成一個(gè)阿姨，你讓一只貓坐飛機(jī)，它讓一只貓出現(xiàn)在飛機(jī)頂上，這都是理解能力不夠。

　　提示詞為 A cat flying a plane，Cartoon style

　　其次是視頻生成效果，如畫面流暢度、人物穩(wěn)定性、動(dòng)作連貫性、光影一致性、風(fēng)格準(zhǔn)確性等等。之前很多生成的視頻會(huì)有畫面抖動(dòng)、閃爍變形、掉幀的問題，現(xiàn)在技術(shù)進(jìn)步有所好轉(zhuǎn)，但人物穩(wěn)定性和一致性還有待提高。我們把一張馬斯克的經(jīng)典照片輸入給Gen-2，得到的視頻是這樣的:

　　馬斯克的臉怎么變得這么有棱角了?還有，這個(gè)手是怎么回事......

　　另外，畫面主體的動(dòng)作幅度一大，就很容易“露餡”，比如轉(zhuǎn)動(dòng)身體的少女一會(huì)兒是瓜子臉一會(huì)兒是大餅?zāi)槪�或是奔跑中的馬甩出“無(wú)影腿”。

　　還有一點(diǎn)是產(chǎn)品易用度。AI生成視頻最大的變革之一，是大幅降低了使用門檻，只用輸入很少的信息就能實(shí)現(xiàn)豐富的效果，過去視頻工作者用PR、AE制作視頻，要在復(fù)雜的操作界面點(diǎn)擊各種按鈕，調(diào)節(jié)大量參數(shù)，現(xiàn)在你只用打字就可以了。

　　產(chǎn)品是否易用，是技術(shù)能否大規(guī)模普及的一個(gè)重要前提。AI擴(kuò)圖最近被人們“玩壞”，也是因?yàn)椴僮骱?jiǎn)單，但效果感人。當(dāng)普通小白也能像P圖一樣P視頻，那離爆款產(chǎn)品誕生就不遠(yuǎn)了。

　　就當(dāng)前而言，以上三項(xiàng)指標(biāo)已有很大進(jìn)步，尤其是剛上線不久的Pika1.0，各方面表現(xiàn)均衡。但輸出不穩(wěn)定依然是共性問題。

　　視頻時(shí)長(zhǎng)也是一大限制�，F(xiàn)在主流的文生視頻產(chǎn)品，正常生成的視頻時(shí)長(zhǎng)一般在3到4秒，最長(zhǎng)的沒有超過30秒。生成視頻的時(shí)間越長(zhǎng)，對(duì)AI的理解、生成能力要求越高，露餡的概率也越大。

　　因此很多人不得不使用“續(xù)杯”的方式，同時(shí)還得結(jié)合其他素材，才能實(shí)現(xiàn)理想效果。而在《芭比海默》《Trailer:Genesis》這兩部預(yù)告片中，作者用到了Midjourney(處理圖像)、Gen-2(處理視頻)、CapCut(剪輯視頻)等多種工具。

　　吳杰茜表示，當(dāng)前市面上的AI文生視頻產(chǎn)品，生成的視頻時(shí)長(zhǎng)最多也就十多秒，瀚皓科技即將推出的產(chǎn)品試圖做到生成任意時(shí)長(zhǎng)，比如15秒短視頻、1分鐘左右的短劇，這也能成為一個(gè)差異化的特色。

　　所以就當(dāng)前而言，想靠AI直接生成一整部大片，還有點(diǎn)早。

　　爭(zhēng)搶AIGC的最后一塊拼圖

　　在AIGC的各大細(xì)分賽道中，AI文生視頻被認(rèn)為是最后一塊拼圖，是AI創(chuàng)作多模態(tài)的“圣杯”。整個(gè)行業(yè)的熱潮，已經(jīng)逐步從文生文、文生圖，轉(zhuǎn)向了文生視頻領(lǐng)域。

　　成立于2018年的美國(guó)公司Runway，一度引領(lǐng)AI生成視頻浪潮。它在2023年2月推出的Gen-1，主打視頻轉(zhuǎn)視頻，能改變視頻風(fēng)格;3月推出的Gen-2，實(shí)現(xiàn)了用文字、圖像或視頻片段生成新視頻。

　　Gen-2將生成視頻的最大長(zhǎng)度從4秒提升到了18秒，還能控制“鏡頭”，用“運(yùn)動(dòng)筆刷”隨意指揮移動(dòng)，一度是文生視頻領(lǐng)域最先進(jìn)的模型。

　　Runway的創(chuàng)始團(tuán)隊(duì)有很強(qiáng)的影視、藝術(shù)背景，因而客戶主要是電影級(jí)視頻編輯和特效制作者，他們的技術(shù)被用在了好萊塢大片《瞬息全宇宙》中。2023年下半年，Runway完成一筆過億美元的融資，公司估值超過15億美元。

　　最新玩家是Pika，這家公司由兩個(gè)在美國(guó)讀書的華人女博士退學(xué)創(chuàng)辦，公司成立僅8個(gè)月，員工4人。Pika進(jìn)展神速，11月底發(fā)布的全新文生視頻工具Pika1.0，在各大社交媒體迅速走紅。再加上創(chuàng)始人爽文大女主的人設(shè)，被國(guó)內(nèi)媒體瘋狂報(bào)道。

　　一位AI創(chuàng)業(yè)者對(duì)「定焦」說，Pika采用了差異化的打法，主打動(dòng)畫生成，規(guī)避了AI生成視頻在逼真度和真實(shí)性方面的缺陷。另外Pika在正式推出1.0版本之前，已經(jīng)在discord積累了一定數(shù)量的用戶。

　　除了這兩家公司，AI視頻領(lǐng)域的玩家還有Stability AI，它最知名的產(chǎn)品是文生圖應(yīng)用Stable Diffusion，11月剛發(fā)布了自己的首個(gè)文生視頻模型Stable Video Diffusion;Meta發(fā)布了Make-A-Video;Google推出了Imagen Video、Phenaki。

　　中信建投制圖

　　國(guó)內(nèi)的進(jìn)展相對(duì)慢一些，還沒有明星產(chǎn)品出現(xiàn)。已經(jīng)推出或正在研發(fā)文生視頻應(yīng)用的公司有右腦科技、生數(shù)科技、萬(wàn)興科技、美圖等。

　　其中，右腦科技的視頻功能在8月開啟內(nèi)測(cè)申請(qǐng)。這是一家年輕的公司，2022年9月才成立，已獲得獲得奇績(jī)創(chuàng)壇、光速光合的投資。生數(shù)科技在2023年3月才成立，由瑞萊智慧RealAI、螞蟻和百度風(fēng)投聯(lián)合孵化。

　　也有一些公司擅長(zhǎng)蹭熱點(diǎn)，無(wú)論主動(dòng)或被動(dòng)。

　　Pika被媒體熱炒那幾天，A股上市公司信雅達(dá)股價(jià)暴漲，連續(xù)6個(gè)交易日接近漲停，累計(jì)接近翻倍。這僅僅是因?yàn)镻ika創(chuàng)始人郭文景為信雅達(dá)的實(shí)控人郭華強(qiáng)之女，而這兩家公司沒有任何業(yè)務(wù)往來(lái)，信雅達(dá)也沒有AI視頻生成類相關(guān)產(chǎn)品和業(yè)務(wù)。

　　炒概念，一直都是資本市場(chǎng)的慣常操作。

　　360集團(tuán)在2023年6月發(fā)布大模型產(chǎn)品時(shí)，順帶也演示了文生視頻功能，號(hào)稱“國(guó)內(nèi)首個(gè)實(shí)現(xiàn)文生視頻功能的大模型產(chǎn)品”“ 全球最先進(jìn)的人工智能技術(shù)之一”。當(dāng)然，這些自封的稱號(hào)有多少人會(huì)信、這些產(chǎn)品有多少人會(huì)用，我們不得而知。

　　在圖片領(lǐng)域有優(yōu)勢(shì)的美圖，也在Pika上線后一周內(nèi)，發(fā)布了視覺大模型MiracleVision4.0版本，主打的功能就是AI視頻。不過，這些功能目前尚不可用，得到2024年陸續(xù)應(yīng)用到美圖秀秀等產(chǎn)品中。

　　AI行業(yè)太嘈雜，我們常常搞不清，哪些公司是做產(chǎn)品，哪些是來(lái)炒股的。

　　拋開這些雜音，AI文生視頻技術(shù)本身是好的，有望推動(dòng)生產(chǎn)力革命，加速AIGC技術(shù)產(chǎn)業(yè)化的進(jìn)程。中信證券認(rèn)為，文生視頻有望率先在短視頻和動(dòng)漫兩個(gè)領(lǐng)域落地，短視頻制作中的傳統(tǒng)實(shí)拍模式有望被生成式技術(shù)替代。

　　或許用不了多久，短視頻就不再需要真人出鏡、拍攝和錄制。這不僅僅指口播場(chǎng)景，而是任何你能想象得到的場(chǎng)景，以及大量你想象不到的形象。隨之而來(lái)的，是AI生成的視頻大舉入侵互聯(lián)網(wǎng)，AI像流水線一樣批量制造短視頻，短視頻的游戲規(guī)則也要變了。