PR+AI重新定義視頻剪輯，Sora、Pika全接入，AI視頻創(chuàng)企還有的玩嗎？

　　還記得網(wǎng)友們用PS的Generative Fill花式整活的盛況嗎?

　　接下來，被網(wǎng)友玩壞的可能要輪到PR了。

　　無論你是專業(yè)的視頻剪輯師，還是業(yè)余愛好者，對Premiere Pro(簡稱PR)這款軟件都一定不陌生。

　　前幾天，Adobe官方發(fā)布了一條視頻，快、準(zhǔn)、狠地演示了PR即將上線的3個AI功能——對象添加、對象刪除和生成擴(kuò)展。

　　用戶可以直接在PR內(nèi)調(diào)用Sora、Pika、Runway等第三方AI視頻模型，來生成視頻片段。

　　同時，Adobe自研的Firefly系列模型也將集成進(jìn)PR。

　　相比于近年來的小修小補(bǔ)，這次更新可以說是一次大重構(gòu)。

　　Adobe創(chuàng)意產(chǎn)品部高級副總裁Ashley Still表示，Adobe正在重新構(gòu)想視頻創(chuàng)作流程的每一個步驟，為創(chuàng)作者提供高效、便捷、易用的功能。

　　PR+AI，像PS一樣P視頻

　　目前，Adobe旗下的生成式AI模型Firefly已經(jīng)廣泛應(yīng)用于Photoshop、illustrator和Adobe Express中。

　　作為對OpenAI的Sora、谷歌的Imagen2等生成式AI視頻模型的回應(yīng)，Adobe表示，它們正在Firefly的基礎(chǔ)上訓(xùn)練一個能夠生成和編輯視頻的全新模型，但尚未透露這個模型何時推出。

　　眼下，讓我們來看看PR將在今年晚些時候更新的幾個AI功能。

　　視頻元素替換

　　如果你想要修改視頻畫面中的某個特定對象或區(qū)域，而不是替換整個視頻素材，常用的做法是使用遮罩/圖層，覆蓋想要修改的區(qū)域，或者使用克隆修復(fù)工具，選擇一個與要修改區(qū)域相似的區(qū)域，將其復(fù)制并覆蓋到目標(biāo)區(qū)域上。

　　過程中通常涉及到比較精細(xì)的視頻編輯工作，比如遮罩、效果應(yīng)用或局部像素的調(diào)整，需要一定的視頻編輯技巧和耐心，以確保在進(jìn)行局部修改時，盡量保持與視頻其他部分的一致性和自然過渡。

　　而在Adobe的演示視頻中，手提箱里如果你想要修改鉆石的密度，只需要用鋼筆工具圈選想要修改的區(qū)域，然后輸入提示文本“一大堆寶石”，F(xiàn)irefly就會生成3個不同的視頻素材，選中一個即可完成替換。

　　給穿西裝的男人加一條領(lǐng)帶，換一塊看起來昂貴一點(diǎn)的手表都不在話下:

　　從演示視頻來看，替換的效果非常自然，幾乎看不出有什么破綻。

　　視頻元素刪除

　　而對于想要移除的對象——可能是一個吊桿麥克風(fēng)、一個指示牌、地上的雜物，只需要選中它，右鍵點(diǎn)擊“對象移除”，就可以輕松將其從視頻畫面中移除，雖然結(jié)果可能并不十分完美。

　　視頻生成擴(kuò)展

　　至于生成擴(kuò)展功能，只需要打開Adobe Firefly視頻生成插件，拖動視頻的定格幀，F(xiàn)irefly就能將視頻自然延伸數(shù)秒。

　　這種操作被稱為視頻定格幀擴(kuò)展，傳統(tǒng)的做法較為繁瑣:確定要擴(kuò)展的定格幀，創(chuàng)建一個新的視頻序列或時間線;根據(jù)視頻的總體節(jié)奏和所需效果，調(diào)整擴(kuò)展幀的持續(xù)時間和速度�？赡苓�需要在選定幀的前后生成一系列中間幀，以平滑過渡到動態(tài)效果。

　　如果追求更為精細(xì)的效果，在完成動態(tài)化處理后，還要進(jìn)行后期處理，包括顏色校正、特效添加等，以確保擴(kuò)展的幀與原始視頻的其余部分在視覺上協(xié)調(diào)一致。

　　而現(xiàn)在，可以通過圖生視頻技術(shù)來實(shí)現(xiàn)，Sora甚至能夠模擬真實(shí)物理世界的運(yùn)動，這在進(jìn)行定格幀擴(kuò)展時非常有用。

　　Adobe相當(dāng)于把圖生視頻能力集成進(jìn)了PR，使得用戶不需要輾轉(zhuǎn)于視頻編輯軟件和AI視頻生成工具。

　　不過，從視頻示例來看，延伸的視頻很短，基本都在3秒以內(nèi)，有網(wǎng)友認(rèn)為“最多就72幀，沒多大演示價值”。

　　在生成視頻素材方面，用戶可以直接在PR內(nèi)調(diào)用Sora、Runway、Pika等第三方模型，通過輸入文本提示，如“夜雨中的城市風(fēng)景”，來生成所需的視頻素材，一次可以生成3個視頻。

　　為了避免AI生成的視頻被用于深度偽造或傳播虛假信息，Adobe將引入Content Credential(內(nèi)容憑據(jù))，標(biāo)明哪些內(nèi)容是AI生成的，以及是用哪個AI模型生成的。

　　但實(shí)際上，Adobe在視頻中展示的能力，其他工具也能夠?qū)崿F(xiàn)，Adobe只是勝在集成、整合和交互體驗(yàn)上的優(yōu)化。

　　在PR AI演示視頻發(fā)布后，很快就有人用Stable Diffusion的ComfyUI實(shí)現(xiàn)了換鉆石的操作。

　　此外，有知情人士稱，Adobe正向在其Adobe Stock平臺上的攝影師和藝術(shù)家支付高達(dá)120美元的費(fèi)用，以讓他們提交短視頻剪輯，這些剪輯將用于訓(xùn)練Adobe的視頻生成模型。根據(jù)提交內(nèi)容質(zhì)量的不同，支付的報酬從每分鐘大約2.62美元至7.25美元不等，高質(zhì)量的視頻剪輯將獲得更高的報酬。非AI原生的老牌公司“后發(fā)制人”?

　　有人說，這一輪AI技術(shù)浪潮最大的受益者，其實(shí)是微軟、Adobe這些非AI原生的老牌玩家。

　　硅谷創(chuàng)投圈有一種常見觀點(diǎn):“現(xiàn)有公司而非初創(chuàng)公司更有能力利用AI。AI是一種維持技術(shù)，它強(qiáng)化了現(xiàn)有玩家的地位，而不是賦予新進(jìn)入者顛覆性的力量。”

　　從微軟、Adobe這樣的公司集成AI功能的速度來看，這種觀點(diǎn)的確有一定的道理。

　　老牌玩家擁有強(qiáng)大的品牌影響力和穩(wěn)定的客戶群體，似乎只需要調(diào)用一個OpenAI的API，就能實(shí)現(xiàn)“后發(fā)制人”。

　　不過，從“模型即應(yīng)用”的角度來說，隨著AI模型被越來越多地集成到應(yīng)用中，應(yīng)用產(chǎn)品能力和用戶體驗(yàn)的提升，越來越受制于基礎(chǔ)模型能力的提升。開發(fā)者可以根據(jù)特定應(yīng)用的需求定制和優(yōu)化模型，使其更加貼合應(yīng)用場景，模型也可以在與用戶的互動中學(xué)習(xí)，不斷優(yōu)化自身性能。

　　這意味著，現(xiàn)有產(chǎn)品所謂的護(hù)城河并非牢不可破，基礎(chǔ)模型公司很容易迎頭趕上，尤其是在競爭尤為激烈的AI視頻賽道。

　　雖然與Midjourney、OpenAI的DALL-E3等相比，Adobe的Firefly圖像生成模型在業(yè)界的評價并不高，甚至被認(rèn)為是效果平庸。

　　但在這場生成式人工智能的競賽中，不采取行動，就意味著用戶流失，以及錯失重要的潛在收入來源。

　　更不用說，除了OpenAI的Sora、Stable Diffusion的SVD3D等明星玩家之外，還有很多生成式AI視頻初創(chuàng)企業(yè)在不斷涌現(xiàn)。

　　4月初， AI視頻初創(chuàng)公司Higgsfield宣布獲得800萬美元種子輪融資。Higgsfield計(jì)劃將本輪種子資金用于改進(jìn)公司的視頻編輯工具，以期讓用戶們可以修改視頻中的人物和物體。另外，Higgsfield還將專門針對社媒訓(xùn)練更強(qiáng)大的視頻生成模型。

　　Higgsfield的差異化競爭策略是“移動優(yōu)先、社交優(yōu)先”，優(yōu)先考慮iOS和Android應(yīng)用程序而不是桌面工作流程，優(yōu)先考慮易用性和對消費(fèi)者友好的功能，使創(chuàng)作者能夠隨時隨地創(chuàng)建引人注目的社交媒體內(nèi)容。

　　在4月17日舉辦的中國AIGC產(chǎn)業(yè)峰會上，美圖公司創(chuàng)始人吳欣鴻表示，國內(nèi)視頻大模型競爭的關(guān)鍵點(diǎn)有三——

　　創(chuàng)意超越現(xiàn)實(shí):視頻大模型需要生成超越現(xiàn)實(shí)的畫面，與實(shí)拍互補(bǔ)，成為一種新的特效實(shí)現(xiàn)方式。

　　工作流整合:視頻生成應(yīng)用場景有限，需與現(xiàn)有AI能力和傳統(tǒng)視頻技術(shù)結(jié)合，形成工作流。

　　垂直場景:視頻在電商、廣告、游戲、動漫、影視等垂直場景的“可用性”極為關(guān)鍵。

　　表面上看，國外的如微軟、Adobe，國內(nèi)的如阿里、字節(jié)、美圖等公司，只是借助AI技術(shù)更新了一波自己的產(chǎn)品，但最核心的是，它們掌握著從產(chǎn)品落地到市場需求匹配最關(guān)鍵的一環(huán):場景。

　　因此，短期來看，生成式AI視頻創(chuàng)企與Adobe這樣的創(chuàng)意軟件領(lǐng)軍企業(yè)，并不在同一維度競爭。通過引入生成式AI技術(shù)，提供一站式的解決方案，不僅有利于大大提高創(chuàng)意工作流程的效率，而且可以讓非專業(yè)視頻剪輯師也能輕松上手PR，進(jìn)一步擴(kuò)大Adobe的潛在市場。