AI生成視頻：有點(diǎn)驚艷，有點(diǎn)離譜

　　本文來自微信公眾號“定焦”(ID:dingjiaoone)，作者:黎明，編輯:魏佳。

　　AI生成的視頻，正在入侵互聯(lián)網(wǎng)。

　　此前，我們已經(jīng)見識了完全由AI制成的科幻預(yù)告片《Trailer:Genesis》，以及用AI合成的《芭比海默》預(yù)告片。這兩部腦洞大開的片子，讓我們見識了AI的神奇。

　　現(xiàn)在，越來越多AI視頻工具正在被開發(fā)出來，批量制造短視頻和電影片段，其生成效果讓人驚嘆，使用門檻卻低到“令人發(fā)指”。

　　比如用Pika生成的這個:

　　用Runway Gen-2生成的這個:

　　以及用Neverends生成的這個:

　　不需要復(fù)雜的代碼，也不需要深奧的指令，只需要一句話，或者一張圖片，AI就能自動生成動態(tài)視頻。如果想修改，同樣只需要一句話，指哪改哪。喜歡做視頻的同學(xué)，再也不用四處找素材、熬夜剪輯了。

　　在創(chuàng)投圈，視頻生成類AI正在取代大語言模型，成為近期最熱門的賽道。前段時間出圈的Pika，給這團(tuán)火又添了一把柴。

　　AI視頻這陣風(fēng)，能吹多久?

　　AI生成視頻，這次有點(diǎn)東西

　　用AI生成一段視頻不是什么難事，區(qū)別在于生成什么樣的視頻。

　　經(jīng)常剪視頻的人可能知道“一鍵成片”，在剪映等視頻工具里輸入腳本，系統(tǒng)可直接生成與腳本匹配的視頻;在一些數(shù)字人平臺上傳一張照片，AI生成一個數(shù)字人，在口播時能自動對口型。

　　這是AI，但不是我們今天討論的AI。

　　本文提到的AI生成視頻，指的是生成有連續(xù)邏輯的視頻，內(nèi)容之間有關(guān)聯(lián)性與協(xié)同性。它不是根據(jù)腳本把圖片素材拼接成視頻形式，也不是用程序驅(qū)動數(shù)字人“動手動嘴”。它更接近于“無中生有”，實(shí)現(xiàn)難度更高。

　　比如以下這段視頻，就靠一句指令生成:

　　視頻中的汽車、樹葉、光影，是AI靠自己的知識儲備和經(jīng)驗(yàn)“畫”出來的，或者說是“瞎編”的。當(dāng)然，是根據(jù)用戶的要求“瞎編”。

　　再看以下這段視頻，就靠一張靜態(tài)圖片，AI自動拓展成視頻。

　　圖片中的人物、船只、水流本來都是靜止的，AI將它們變成了動態(tài)。

　　AI還可以對原視頻進(jìn)行擴(kuò)充，把場景“補(bǔ)”齊，比如從只有上半身擴(kuò)充到全身，以及構(gòu)造出人物背后的全景。這跟最近很火的AI擴(kuò)圖有點(diǎn)像，AI根據(jù)自己的理解，以小見大，以樹木見森林。

　　以上三種生成視頻的方式，就是現(xiàn)在流行的AI視頻“三件套”:文生視頻、圖生視頻、視頻生視頻。簡言之，無論是文字、圖片還是視頻，都能作為原始素材，通過AI生成新的視頻。

　　從技術(shù)角度，這依托跨模態(tài)大模型。在輸入端，輸入自然語言、圖像、視頻等形式的指令，最后都能在輸出端以視頻的形式呈現(xiàn)。

　　生成只是第一步，后續(xù)還能用AI修改。

　　請看X網(wǎng)友發(fā)布的一段視頻:

　　這個視頻體現(xiàn)了兩個重要的功能:一鍵換裝，一鍵增減物品。這也是Pika在1.0版本上線時重點(diǎn)介紹的功能。在Pika的宣傳片中，只需要一句話輸入指令，就能給猩猩戴上墨鏡，給一位行走中的女士換裝。

　　這其中的厲害之處不在換裝，而在換裝的方式——用自然語言的方式下指令，且整個過程非常絲滑，毫無違和感。通過AI，人們能夠輕松編輯并重構(gòu)視頻的場景。

　　AI還能改變視頻風(fēng)格，動漫、卡通、電影，通通不在話下，比如將現(xiàn)實(shí)中的實(shí)拍鏡頭轉(zhuǎn)換為卡通世界，它的效果跟P圖軟件的濾鏡有點(diǎn)像，但更高級。

　　現(xiàn)在用AI生成的視頻，已經(jīng)能達(dá)到以假亂真的效果，國內(nèi)還有一批公司在研發(fā)更新的技術(shù)。

　　這兩排人物，每排的六個人動作都一模一樣，就像“一個模子里刻出來的”。沒錯，它們就是通過人物靜態(tài)圖片，綁定骨骼動畫生成的。

　　這是阿里研究院正在進(jìn)行的一個項(xiàng)目，叫Animate Anyone，它能讓任何人動起來。除了阿里，字節(jié)跳動等公司也在研發(fā)類似技術(shù)，且技術(shù)迭代很快。

　　效果很好，但別高興太早

　　用簡單的自然語言讓AI生成定制化的視頻，給行業(yè)帶來的興奮跟去年的ChatGPT差不多。

　　文生視頻的原理與文生圖像類似，但由于視頻是連續(xù)的多幀圖像，所以相當(dāng)于在圖像的基礎(chǔ)上增加了時間維度。這就像快速翻動一本漫畫書，每頁靜止的畫面連起來，人物和場景就 “動”起來了，形成了時間連續(xù)的人像動畫。

　　華創(chuàng)資本投資人張金對「定焦」分析，視頻是一幀一幀構(gòu)成的，比如一幀有24張圖片，那么AI就要在很短時間內(nèi)生成24張圖片，雖然有共同的參數(shù)，但圖片之間要有連貫性，過渡要自然還是很有難點(diǎn)。

　　目前主流的文生視頻模型，主要依托Transformer模型和擴(kuò)散模型。通過Transformer模型，文本在輸入后能夠被轉(zhuǎn)化為視頻令牌，進(jìn)行特征融合后輸出視頻。擴(kuò)散模型在文生圖基礎(chǔ)上增加時間維度實(shí)現(xiàn)視頻生成，它在語義理解、內(nèi)容豐富性上有優(yōu)勢。

　　現(xiàn)在很多廠商都會用到擴(kuò)散模型，Runway的Gen2、Meta的Make-A-Video，都是這方面的代表。

　　不過，跟任何技術(shù)一樣，剛開始產(chǎn)品化時讓人眼前一亮，同時也會有一些漏洞。

　　Pika、Runway等公司，在宣傳片中展示的效果非常驚艷，我們相信這些展示是真實(shí)的，也的確有人在測試中達(dá)到類似的效果，但問題也很明顯——輸出不穩(wěn)定。

　　不論是昨日明星Gen-2，還是當(dāng)紅炸子雞Pika，都存在這個問題，這幾乎是所有大模型的通病。在ChatGPT等大語言模型上，它體現(xiàn)為胡說八道;在文生視頻模型上，它讓人哭笑不得。

　　瀚皓科技CEO吳杰茜對「定焦」說，可控性是文生視頻當(dāng)前最大的痛點(diǎn)之一，很多團(tuán)隊(duì)都在做針對性的優(yōu)化，盡量做到生成視頻的可控。

　　張金表示，AI生成視頻確實(shí)難度比較大，AI既要能理解用戶輸入的語義，圖與圖之間還要有語義連貫性。

　　AI生成視頻的評估標(biāo)準(zhǔn)，通常有三大維度。

　　首先是語義理解能力，即AI能不能精準(zhǔn)識別用戶的指令。你讓它生成一個少女，它生成一個阿姨，你讓一只貓坐飛機(jī)，它讓一只貓出現(xiàn)在飛機(jī)頂上，這都是理解能力不夠。

　　提示詞為 A cat flying a plane，Cartoon style

　　其次是視頻生成效果，如畫面流暢度、人物穩(wěn)定性、動作連貫性、光影一致性、風(fēng)格準(zhǔn)確性等等。之前很多生成的視頻會有畫面抖動、閃爍變形、掉幀的問題，現(xiàn)在技術(shù)進(jìn)步有所好轉(zhuǎn)，但人物穩(wěn)定性和一致性還有待提高。我們把一張馬斯克的經(jīng)典照片輸入給Gen-2，得到的視頻是這樣的:

　　馬斯克的臉怎么變得這么有棱角了?還有，這個手是怎么回事......

　　另外，畫面主體的動作幅度一大，就很容易“露餡”，比如轉(zhuǎn)動身體的少女一會兒是瓜子臉一會兒是大餅?zāi)槪�或是奔跑中的馬甩出“無影腿”。

　　還有一點(diǎn)是產(chǎn)品易用度。AI生成視頻最大的變革之一，是大幅降低了使用門檻，只用輸入很少的信息就能實(shí)現(xiàn)豐富的效果，過去視頻工作者用PR、AE制作視頻，要在復(fù)雜的操作界面點(diǎn)擊各種按鈕，調(diào)節(jié)大量參數(shù)，現(xiàn)在你只用打字就可以了。

　　產(chǎn)品是否易用，是技術(shù)能否大規(guī)模普及的一個重要前提。AI擴(kuò)圖最近被人們“玩壞”，也是因?yàn)椴僮骱唵�，但效果感人。�?dāng)普通小白也能像P圖一樣P視頻，那離爆款產(chǎn)品誕生就不遠(yuǎn)了。

　　就當(dāng)前而言，以上三項(xiàng)指標(biāo)已有很大進(jìn)步，尤其是剛上線不久的Pika1.0，各方面表現(xiàn)均衡。但輸出不穩(wěn)定依然是共性問題。

　　視頻時長也是一大限制�，F(xiàn)在主流的文生視頻產(chǎn)品，正常生成的視頻時長一般在3到4秒，最長的沒有超過30秒。生成視頻的時間越長，對AI的理解、生成能力要求越高，露餡的概率也越大。

　　因此很多人不得不使用“續(xù)杯”的方式，同時還得結(jié)合其他素材，才能實(shí)現(xiàn)理想效果。而在《芭比海默》《Trailer:Genesis》這兩部預(yù)告片中，作者用到了Midjourney(處理圖像)、Gen-2(處理視頻)、CapCut(剪輯視頻)等多種工具。

　　吳杰茜表示，當(dāng)前市面上的AI文生視頻產(chǎn)品，生成的視頻時長最多也就十多秒，瀚皓科技即將推出的產(chǎn)品試圖做到生成任意時長，比如15秒短視頻、1分鐘左右的短劇，這也能成為一個差異化的特色。

　　所以就當(dāng)前而言，想靠AI直接生成一整部大片，還有點(diǎn)早。

　　爭搶AIGC的最后一塊拼圖

　　在AIGC的各大細(xì)分賽道中，AI文生視頻被認(rèn)為是最后一塊拼圖，是AI創(chuàng)作多模態(tài)的“圣杯”。整個行業(yè)的熱潮，已經(jīng)逐步從文生文、文生圖，轉(zhuǎn)向了文生視頻領(lǐng)域。

　　成立于2018年的美國公司Runway，一度引領(lǐng)AI生成視頻浪潮。它在2023年2月推出的Gen-1，主打視頻轉(zhuǎn)視頻，能改變視頻風(fēng)格;3月推出的Gen-2，實(shí)現(xiàn)了用文字、圖像或視頻片段生成新視頻。

　　Gen-2將生成視頻的最大長度從4秒提升到了18秒，還能控制“鏡頭”，用“運(yùn)動筆刷”隨意指揮移動，一度是文生視頻領(lǐng)域最先進(jìn)的模型。

　　Runway的創(chuàng)始團(tuán)隊(duì)有很強(qiáng)的影視、藝術(shù)背景，因而客戶主要是電影級視頻編輯和特效制作者，他們的技術(shù)被用在了好萊塢大片《瞬息全宇宙》中。2023年下半年，Runway完成一筆過億美元的融資，公司估值超過15億美元。

　　最新玩家是Pika，這家公司由兩個在美國讀書的華人女博士退學(xué)創(chuàng)辦，公司成立僅8個月，員工4人。Pika進(jìn)展神速，11月底發(fā)布的全新文生視頻工具Pika1.0，在各大社交媒體迅速走紅。再加上創(chuàng)始人爽文大女主的人設(shè)，被國內(nèi)媒體瘋狂報(bào)道。

　　一位AI創(chuàng)業(yè)者對「定焦」說，Pika采用了差異化的打法，主打動畫生成，規(guī)避了AI生成視頻在逼真度和真實(shí)性方面的缺陷。另外Pika在正式推出1.0版本之前，已經(jīng)在discord積累了一定數(shù)量的用戶。

　　除了這兩家公司，AI視頻領(lǐng)域的玩家還有Stability AI，它最知名的產(chǎn)品是文生圖應(yīng)用Stable Diffusion，11月剛發(fā)布了自己的首個文生視頻模型Stable Video Diffusion;Meta發(fā)布了Make-A-Video;Google推出了Imagen Video、Phenaki。

　　中信建投制圖

　　國內(nèi)的進(jìn)展相對慢一些，還沒有明星產(chǎn)品出現(xiàn)。已經(jīng)推出或正在研發(fā)文生視頻應(yīng)用的公司有右腦科技、生數(shù)科技、萬興科技、美圖等。

　　其中，右腦科技的視頻功能在8月開啟內(nèi)測申請。這是一家年輕的公司，2022年9月才成立，已獲得獲得奇績創(chuàng)壇、光速光合的投資。生數(shù)科技在2023年3月才成立，由瑞萊智慧RealAI、螞蟻和百度風(fēng)投聯(lián)合孵化。

　　也有一些公司擅長蹭熱點(diǎn)，無論主動或被動。

　　Pika被媒體熱炒那幾天，A股上市公司信雅達(dá)股價(jià)暴漲，連續(xù)6個交易日接近漲停，累計(jì)接近翻倍。這僅僅是因?yàn)镻ika創(chuàng)始人郭文景為信雅達(dá)的實(shí)控人郭華強(qiáng)之女，而這兩家公司沒有任何業(yè)務(wù)往來，信雅達(dá)也沒有AI視頻生成類相關(guān)產(chǎn)品和業(yè)務(wù)。

　　炒概念，一直都是資本市場的慣常操作。

　　360集團(tuán)在2023年6月發(fā)布大模型產(chǎn)品時，順帶也演示了文生視頻功能，號稱“國內(nèi)首個實(shí)現(xiàn)文生視頻功能的大模型產(chǎn)品”“ 全球最先進(jìn)的人工智能技術(shù)之一”。當(dāng)然，這些自封的稱號有多少人會信、這些產(chǎn)品有多少人會用，我們不得而知。

　　在圖片領(lǐng)域有優(yōu)勢的美圖，也在Pika上線后一周內(nèi)，發(fā)布了視覺大模型MiracleVision4.0版本，主打的功能就是AI視頻。不過，這些功能目前尚不可用，得到2024年陸續(xù)應(yīng)用到美圖秀秀等產(chǎn)品中。

　　AI行業(yè)太嘈雜，我們常常搞不清，哪些公司是做產(chǎn)品，哪些是來炒股的。

　　拋開這些雜音，AI文生視頻技術(shù)本身是好的，有望推動生產(chǎn)力革命，加速AIGC技術(shù)產(chǎn)業(yè)化的進(jìn)程。中信證券認(rèn)為，文生視頻有望率先在短視頻和動漫兩個領(lǐng)域落地，短視頻制作中的傳統(tǒng)實(shí)拍模式有望被生成式技術(shù)替代。

　　或許用不了多久，短視頻就不再需要真人出鏡、拍攝和錄制。這不僅僅指口播場景，而是任何你能想象得到的場景，以及大量你想象不到的形象。隨之而來的，是AI生成的視頻大舉入侵互聯(lián)網(wǎng)，AI像流水線一樣批量制造短視頻，短視頻的游戲規(guī)則也要變了。