8月16日,抖音、中國電影資料館、火山引擎在北京舉辦“再續(xù)時(shí)光-經(jīng)典香港電影修復(fù)發(fā)布會”,宣布將對100部香港經(jīng)典老電影進(jìn)行4K修復(fù),還原老港片的絕代風(fēng)華;鹕揭鏋樵撚(jì)劃提供技術(shù)支持,與中國電影資料館一起對電影進(jìn)行“AI+人工”修復(fù)。首批完成的4K精修影片包括《武狀元蘇乞兒》《A計(jì)劃》《蜀山·新蜀山劍俠》。
火山引擎首次將視覺大模型應(yīng)用于老片修復(fù)場景,借助其強(qiáng)大的生成能力和豐富的先驗(yàn)知識,實(shí)現(xiàn)修復(fù)效果在清晰度、色彩、流暢度和瑕疵消除等方面的全方位提升。
大模型首次用于影視修復(fù)
公開資料顯示,電影修復(fù)工藝繁雜瑣碎,一位經(jīng)驗(yàn)豐富的修復(fù)師需要1個(gè)月的時(shí)間,才可以修復(fù)完成一部影片。近些年,通過深度學(xué)習(xí)等AI技術(shù),大幅提升老片修復(fù)的質(zhì)量和效率成為可能。
“老片修復(fù)這件事情,其實(shí)我們每天都在做。”火山引擎視頻云技術(shù)架構(gòu)總監(jiān)王悅說,老片中常見的清晰度低、流暢度低、色彩失真、有瑕疵等畫質(zhì)問題,在抖音的海量投稿里也廣泛存在。通過服務(wù)抖音,火山引擎在老片修復(fù)方面已經(jīng)形成了一套較為完整的智能處理技術(shù)方案,曾攜手西瓜視頻和抖音,完成100部國產(chǎn)經(jīng)典動(dòng)畫和Beyond經(jīng)典演唱會的4K修復(fù)。
新興的大模型技術(shù)也被首次運(yùn)用到老片修復(fù)中。王悅介紹,一方面,大模型生成能力強(qiáng),修復(fù)效果優(yōu)于之前的算法,畫面細(xì)節(jié)更自然;另一方面,大模型具有非常強(qiáng)的信息結(jié)構(gòu)化能力,在學(xué)習(xí)了海量數(shù)據(jù)對后,可以在其中提煉出大量的知識并“存儲”在模型參數(shù)之中,其生成空間更豐富,能夠應(yīng)對更多的修復(fù)場景。
“打個(gè)比方,在‘看’過海量狗狗的照片后,大模型能學(xué)習(xí)并記住狗的樣子,可以更生動(dòng)形象地‘畫’出一只狗。”王悅說。
但大模型強(qiáng)大的生成能力也是一把雙刃劍,其表現(xiàn)在一些場景下并不穩(wěn)定,容易生成偽影或者虛假紋理等;以Stable Diffusion為代表的視覺大模型本身大多是基于圖片或者單幀的算法,在視頻這種多幀序列的場景下也存在效果和穩(wěn)定性的問題。
針對老舊電影修復(fù)的特殊場景,火山引擎多媒體實(shí)驗(yàn)室對視覺大模型做了三個(gè)層面的算法優(yōu)化:在圖像生成方面,通過控制模型的邊界條件、強(qiáng)化高質(zhì)量生成空間等手段,顯著提升大模型的圖像輸出質(zhì)量;在視頻場景里,通過采用設(shè)計(jì)時(shí)域的自編碼器、光流特征對齊、時(shí)域條件約束等技術(shù)手段,讓大模型在修復(fù)的過程中可以使用前后幀的信息,更好地處理視頻任務(wù);同時(shí),火山引擎還攜手Intel在算法和工程上進(jìn)行了多項(xiàng)優(yōu)化,能顯著提升大模型在4K場景下的處理效率并兼顧算力成本。
《武狀元蘇乞兒》修復(fù)前后對比
算法助力經(jīng)典文化傳承
據(jù)王悅介紹,對火山引擎多媒體實(shí)驗(yàn)室的工程師來說,老港片修復(fù)最大的挑戰(zhàn)不是算法技術(shù),而是如何保留影片原有的藝術(shù)風(fēng)格。
“在很多影片的修復(fù)中,中國電影資料館都想方設(shè)法邀請當(dāng)年的主創(chuàng)走入修復(fù)實(shí)驗(yàn)室”,中國電影資料館副館長張小光表示,此次4K修復(fù)《武狀元蘇乞兒》,就得到了導(dǎo)演陳嘉上的藝術(shù)指導(dǎo)。
在這一過程中,火山引擎和中國電影資料館進(jìn)行了多輪溝通和討論,經(jīng)過不斷的測試和反復(fù)的調(diào)優(yōu),才達(dá)到算法服務(wù)于藝術(shù)的理想效果。以色偏和色彩的處理為例,此前的AI算法能夠完成和優(yōu)化一系列客觀上色彩的問題,但對于部分藝術(shù)色彩上的還原容易產(chǎn)生偏差,火山引擎此次摸索了一種AI加速藝術(shù)修復(fù)的方案,能通過學(xué)習(xí)人工修復(fù)片段的數(shù)據(jù)獲得更理想的色彩方案效果,從而加速修復(fù)進(jìn)程。
“我們在不斷思考,怎么讓過去的老片煥發(fā)新生。”王悅表示,“利用大模型算法進(jìn)一步提升老片的修復(fù)質(zhì)量,無論是從技術(shù)實(shí)踐還是從文化傳承的角度來看,都是一次有意義的嘗試。”
抖音副總裁陳都燁介紹,未來一年,《喋血雙雄》《阿郎的故事》等100部香港電影的4K修復(fù)版,也將陸續(xù)在抖音、西瓜視頻上線。
這100部香港電影制作時(shí)間集中在上世紀(jì)70年代到90年代,涵蓋陳嘉上、徐克、成龍、關(guān)錦鵬、周星馳等多位導(dǎo)演作品。中國電影資料館的電影策展人沙丹表示,這個(gè)時(shí)段正是香港電影的黃金時(shí)代。彼時(shí)內(nèi)地正逐漸走向開放,香港電影成為很多內(nèi)地青年了解世界的窗口。
受限于早期拍攝的設(shè)備技術(shù)以及膠片存放使用過程中造成的損傷,記憶中的老港片雖然情節(jié)鮮活,畫面卻模糊、昏暗、不清晰。對于習(xí)慣了高清視頻的觀眾來說,重溫經(jīng)典的觀影體驗(yàn)并不友好。
“我們希望通過技術(shù)手段讓現(xiàn)在的年輕人也能喜歡上過去的經(jīng)典,老的觀眾可以重溫曾經(jīng)的回憶,形成幾代人的共同記憶。”王悅說。
近日,德國柏林國際電子消費(fèi)品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場的強(qiáng)大影響力。
近日,中國家電及消費(fèi)電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。