Adobe 發(fā)布 VideoGigaGAN 超分辨率視頻模型

　　全球多媒體巨頭 Adobe 與馬里蘭大學的研究人員合作推出了新的超分辨率視頻模型 VideoGigaGAN。該模型兼顧幀率連貫性和豐富細節(jié)，解決了當前超分辨率視頻模型的難題。

　　在過去的超分辨率視頻轉(zhuǎn)換中，存在兩大難題:一是保持輸出視頻幀在時間上的連貫性，確保幀到幀之間平滑過渡，不出現(xiàn)閃爍或抖動的情況;二是在放大的視頻幀中重建高頻細節(jié)，提供清晰和逼真的紋理效果。然而，目前的超分辨率視頻模型雖然在保持時間連貫性方面取得了進展，但以犧牲圖像清晰度為代價，整體模糊缺乏更加生動的細節(jié)和紋理。

　　VideoGigaGAN 是基于 Adobe、卡內(nèi)基梅隆大學和浦項科技大學之前推出的大規(guī)模圖像超分辨率模型 GigaGAN 的基礎(chǔ)之上開發(fā)而成。該模型通過添加時序卷積和自注意力層，將 GigaGAN 模型從2D 圖像擴展為3D 視頻模型，同時引入了光流引導模塊，更好地對齊不同幀的特征，提高視頻的時間一致性和細節(jié)豐富性。

　　時序卷積模塊使模型能夠捕捉視頻幀之間的時間依賴性，從而提高超分辨率視頻的時間一致性。自注意力層在解碼器塊中提取空間上的細節(jié)和紋理信息，同時在時間上增強一致性。光流引導模塊利用光流來預測視頻幀中的像素級運動，保持特征的空間一致性，生成清晰的超分辨率視頻。

　　VideoGigaGAN 的技術(shù)原理：

　　基于 GigaGAN：VideoGigaGAN 基于大規(guī)模圖像超分辨率模型 GigaGAN，通過將其擴展為視頻模型來實現(xiàn)視頻超分辨率處理。

　　時域注意力：在解碼器塊中添加時域注意力層，以確保在視頻超分辨率處理過程中保持時域一致性。

　　特征傳播模塊：利用特征傳播模塊來增強一致性，將特征從視頻的不同幀之間進行傳播，以保持視頻的連貫性。

　　抗鋸齒處理：通過在編碼器的下采樣層中引入抗鋸齒模塊，有效抑制視頻中的鋸齒狀偽影，改善視覺效果。

　　細節(jié)補償：通過直接將高頻特征通過跳躍連接傳輸?shù)浇獯a器層，以補償在模糊處理過程中丟失的細節(jié)。

　　通過以上技術(shù)原理，VideoGigaGAN 能夠在視頻超分辨率處理中實現(xiàn)高質(zhì)量的細節(jié)豐富的輸出，并保持時域一致性。

　　VideoGigaGAN 具有以下功能特點：

　　視頻超分辨率：能夠?qū)⒌头直媛实囊曨l提升至高分辨率，增加視頻細節(jié)和清晰度。

　　時域一致性：在進行視頻超分辨率處理時，能夠保持視頻的時域一致性，避免出現(xiàn)時間上的不連續(xù)或跳躍。

　　豐富的細節(jié)處理：能夠處理視頻中的豐富細節(jié)，包括紋理、邊緣和高頻信息，提升視頻質(zhì)量。

　　抗鋸齒處理：能夠有效抑制視頻中出現(xiàn)的鋸齒狀偽影，改善視頻的視覺效果。

　　通用性：能夠處理不同類型的視頻內(nèi)容，適用于多種視頻處理場景。

　　高質(zhì)量輸出：生成的超分辨率視頻具有更高的質(zhì)量和清晰度，可用于多種應用領(lǐng)域。

　　VideoGigaGAN 可以在多種應用場景中發(fā)揮作用，包括但不限于：

　　1. 視頻內(nèi)容制作：提高視頻內(nèi)容的清晰度和細節(jié)，使得視頻制作過程中可以處理低分辨率素材，并生成更高質(zhì)量的視頻作品。

　　2. 視頻監(jiān)控和安全領(lǐng)域：對于監(jiān)控攝像頭捕捉的低分辨率視頻進行超分辨率處理，從而提高監(jiān)控系統(tǒng)的效能和識別能力。

　　3. 視頻通訊和會議：在視頻通話和遠程會議中，對低分辨率視頻進行提升，改善視頻質(zhì)量，提升用戶體驗。

　　4. 醫(yī)療影像：對于醫(yī)學圖像和視頻進行超分辨率處理，提高醫(yī)療影像的清晰度和診斷準確性。

　　5. 視頻內(nèi)容分發(fā)：對于在線視頻平臺或內(nèi)容提供商，可以使用 VideoGigaGAN 提高視頻質(zhì)量，提供更清晰的視頻內(nèi)容給用戶。