下單前先比價不花冤枉錢 同款圖書京東價低于抖音6折日媒感慨中國電動汽車/智駕遙遙領(lǐng)先:本田、日產(chǎn)、三菱合并也沒戲消委會吹風機品質(zhì)檢測結(jié)果揭曉 徠芬獨占鰲頭 共話新質(zhì)營銷力,2024梅花數(shù)據(jù)峰會圓滿落幕索尼影像專業(yè)服務(wù) PRO Support 升級,成為會員至少需注冊 2 臺 α 全畫幅相機、3 支 G 大師鏡頭消息稱vivo加碼電池軍備競賽:6500mAh 旗艦機+7500mAh中端機寶馬M8雙門轎跑車明年年初將停產(chǎn),后續(xù)無2026款車型比亞迪:2025 款漢家族車型城市領(lǐng)航智駕功能開啟內(nèi)測雷神預告2025年首次出席CES 將發(fā)布三款不同技術(shù)原理智能眼鏡realme真我全球首發(fā)聯(lián)發(fā)科天璣 8400 耐玩戰(zhàn)神共創(chuàng)計劃iQOO Z9 Turbo長續(xù)航版手機被曝電池加大到6400mAh,搭驍龍 8s Gen 3處理器普及放緩 銷量大跌:曝保時捷將重新評估電動汽車計劃來京東參與榮耀Magic7 RSR 保時捷設(shè)計預售 享365天只換不修國補期間電視迎來換機潮,最暢銷MiniLED品牌花落誰家?美團旗下微信社群團購業(yè)務(wù)“團買買”宣布年底停運消息稱微軟正與第三方廠商洽談,試圖合作推出Xbox游戲掌機設(shè)備在海外,要再造一個京東物流?消息稱蘋果正為AirPods開發(fā)多項健康功能,包括心率監(jiān)測和溫度感應(yīng)一加 Ace 5系列將搭載全新游戲助手:大幅提升游戲體驗東芝全部業(yè)務(wù)實現(xiàn)盈利,退市裁員重組后終于賺錢
  • 首頁 > 云計算頻道 > 大模型

    新技術(shù)再續(xù)舊時光 火山引擎首次采用視覺大模型修復經(jīng)典老港片

    2023年08月16日 17:29:58   來源:中文科技資訊

      8月16日,抖音、中國電影資料館、火山引擎在北京舉辦“再續(xù)時光-經(jīng)典香港電影修復發(fā)布會”,宣布將對100部香港經(jīng)典老電影進行4K修復,還原老港片的絕代風華;鹕揭鏋樵撚媱澨峁┘夹g(shù)支持,與中國電影資料館一起對電影進行“AI+人工”修復。首批完成的4K精修影片包括《武狀元蘇乞兒》《A計劃》《蜀山·新蜀山劍俠》。

      火山引擎首次將視覺大模型應(yīng)用于老片修復場景,借助其強大的生成能力和豐富的先驗知識,實現(xiàn)修復效果在清晰度、色彩、流暢度和瑕疵消除等方面的全方位提升。

      大模型首次用于影視修復

      公開資料顯示,電影修復工藝繁雜瑣碎,一位經(jīng)驗豐富的修復師需要1個月的時間,才可以修復完成一部影片。近些年,通過深度學習等AI技術(shù),大幅提升老片修復的質(zhì)量和效率成為可能。

      “老片修復這件事情,其實我們每天都在做。”火山引擎視頻云技術(shù)架構(gòu)總監(jiān)王悅說,老片中常見的清晰度低、流暢度低、色彩失真、有瑕疵等畫質(zhì)問題,在抖音的海量投稿里也廣泛存在。通過服務(wù)抖音,火山引擎在老片修復方面已經(jīng)形成了一套較為完整的智能處理技術(shù)方案,曾攜手西瓜視頻和抖音,完成100部國產(chǎn)經(jīng)典動畫和Beyond經(jīng)典演唱會的4K修復。

      新興的大模型技術(shù)也被首次運用到老片修復中。王悅介紹,一方面,大模型生成能力強,修復效果優(yōu)于之前的算法,畫面細節(jié)更自然;另一方面,大模型具有非常強的信息結(jié)構(gòu)化能力,在學習了海量數(shù)據(jù)對后,可以在其中提煉出大量的知識并“存儲”在模型參數(shù)之中,其生成空間更豐富,能夠應(yīng)對更多的修復場景。

      “打個比方,在‘看’過海量狗狗的照片后,大模型能學習并記住狗的樣子,可以更生動形象地‘畫’出一只狗。”王悅說。

    圖片 1.png

      但大模型強大的生成能力也是一把雙刃劍,其表現(xiàn)在一些場景下并不穩(wěn)定,容易生成偽影或者虛假紋理等;以Stable Diffusion為代表的視覺大模型本身大多是基于圖片或者單幀的算法,在視頻這種多幀序列的場景下也存在效果和穩(wěn)定性的問題。

      針對老舊電影修復的特殊場景,火山引擎多媒體實驗室對視覺大模型做了三個層面的算法優(yōu)化:在圖像生成方面,通過控制模型的邊界條件、強化高質(zhì)量生成空間等手段,顯著提升大模型的圖像輸出質(zhì)量;在視頻場景里,通過采用設(shè)計時域的自編碼器、光流特征對齊、時域條件約束等技術(shù)手段,讓大模型在修復的過程中可以使用前后幀的信息,更好地處理視頻任務(wù);同時,火山引擎還攜手Intel在算法和工程上進行了多項優(yōu)化,能顯著提升大模型在4K場景下的處理效率并兼顧算力成本。

    圖片 2.png

      《武狀元蘇乞兒》修復前后對比

      算法助力經(jīng)典文化傳承

      據(jù)王悅介紹,對火山引擎多媒體實驗室的工程師來說,老港片修復最大的挑戰(zhàn)不是算法技術(shù),而是如何保留影片原有的藝術(shù)風格。

      “在很多影片的修復中,中國電影資料館都想方設(shè)法邀請當年的主創(chuàng)走入修復實驗室”,中國電影資料館副館長張小光表示,此次4K修復《武狀元蘇乞兒》,就得到了導演陳嘉上的藝術(shù)指導。

      在這一過程中,火山引擎和中國電影資料館進行了多輪溝通和討論,經(jīng)過不斷的測試和反復的調(diào)優(yōu),才達到算法服務(wù)于藝術(shù)的理想效果。以色偏和色彩的處理為例,此前的AI算法能夠完成和優(yōu)化一系列客觀上色彩的問題,但對于部分藝術(shù)色彩上的還原容易產(chǎn)生偏差,火山引擎此次摸索了一種AI加速藝術(shù)修復的方案,能通過學習人工修復片段的數(shù)據(jù)獲得更理想的色彩方案效果,從而加速修復進程。

      “我們在不斷思考,怎么讓過去的老片煥發(fā)新生。”王悅表示,“利用大模型算法進一步提升老片的修復質(zhì)量,無論是從技術(shù)實踐還是從文化傳承的角度來看,都是一次有意義的嘗試。”

      抖音副總裁陳都燁介紹,未來一年,《喋血雙雄》《阿郎的故事》等100部香港電影的4K修復版,也將陸續(xù)在抖音、西瓜視頻上線。

      這100部香港電影制作時間集中在上世紀70年代到90年代,涵蓋陳嘉上、徐克、成龍、關(guān)錦鵬、周星馳等多位導演作品。中國電影資料館的電影策展人沙丹表示,這個時段正是香港電影的黃金時代。彼時內(nèi)地正逐漸走向開放,香港電影成為很多內(nèi)地青年了解世界的窗口。

      受限于早期拍攝的設(shè)備技術(shù)以及膠片存放使用過程中造成的損傷,記憶中的老港片雖然情節(jié)鮮活,畫面卻模糊、昏暗、不清晰。對于習慣了高清視頻的觀眾來說,重溫經(jīng)典的觀影體驗并不友好。

      “我們希望通過技術(shù)手段讓現(xiàn)在的年輕人也能喜歡上過去的經(jīng)典,老的觀眾可以重溫曾經(jīng)的回憶,形成幾代人的共同記憶。”王悅說。

      

    [No. X048]
    分享到微信

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。

    3C消費

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。