最長處理2小時(shí)，開源視頻字幕模型Video ReCap

　　隨著抖音、快手等平臺(tái)的火爆出圈，越來越多的用戶開始制作大量的短視頻內(nèi)容。但對這些視頻進(jìn)行有效的理解和分析仍面臨一些困難。尤其是視頻時(shí)長超過幾分鐘、甚至幾小時(shí)，傳統(tǒng)的視頻字幕生成技術(shù)往往無法滿足需求。

　　因此，北卡羅來納大學(xué)和Meta AI的研究人員開源了，視頻字幕模型Video ReCap。這是一種遞歸視頻字幕生成模型，能夠處理從1秒到2小時(shí)的視頻，并在多個(gè)層級(jí)上輸出視頻字幕。

　　此外，研究人員通過在Ego4D上增加8,267個(gè)手動(dòng)收集的長視頻摘要，引入了一個(gè)層次化視頻字幕數(shù)據(jù)集Ego4D-HCap，并使用該數(shù)據(jù)集對Video ReCap進(jìn)行了綜合評估。

　　結(jié)果顯示，Video ReCap在短視頻片段字幕、中等長度段描述和長視頻摘要的測試指標(biāo)均明顯超過多個(gè)強(qiáng)大基準(zhǔn)模型。通過該模型生成的分層視頻字幕，也能顯著提升基于EgoSchema數(shù)據(jù)集的長視頻問答效果。

　　VideoReCap模型介紹

　　VideoReCap的核心技術(shù)是使用了遞歸視頻語言架構(gòu)，主要通過遞歸處理機(jī)制，使模型能夠在不同的時(shí)間長度和抽象層級(jí)上理解視頻，從而生成精確且層次豐富的視頻描述字幕。主要由3大模塊組成。

　　1)視頻編碼器：Video ReCap使用了一個(gè)預(yù)訓(xùn)練的視頻編碼器，從長視頻中提取特征。對于短視頻片段,編碼器則輸出密集的時(shí)空特征。

　　這允許模型捕獲細(xì)粒度的詳細(xì)信息，對于更高層級(jí)的字幕,使用全局特征(如CLS特征),以降低計(jì)算成本并捕獲長視頻輸入的全局屬性。

　　2)視頻-語言對齊：該模塊可以將視頻和文本特征映射到聯(lián)合特征空間,以便遞歸文本解碼器可以聯(lián)合處理兩者。

　　具體來說，使用了一個(gè)預(yù)訓(xùn)練的語言模型,通過在每個(gè)轉(zhuǎn)換器塊內(nèi)注入可訓(xùn)練的交叉注意力層,從視頻特征中學(xué)習(xí)固定數(shù)量的視頻嵌入。

　　然后,從屬于特定分層的字幕中學(xué)習(xí)文本嵌入。最后,連接視頻和文本嵌入以獲得聯(lián)合嵌入,并交給后續(xù)的遞歸文本解碼器使用。

　　3)遞歸文本解碼器：該模塊主要用于處理短、中、長三種視頻的字幕，所以，采用了一種分層的生成策略。首先，使用從短視頻剪輯中提取的特征生成短剪輯級(jí)別的字幕。這些短剪輯級(jí)別的字幕描述了視頻中的原子動(dòng)作和低級(jí)視覺元素，例如，對象、場景和原子動(dòng)作等。

　　然后，使用稀疏采樣的視頻特征和上一層級(jí)別生成的字幕作為輸入，生成當(dāng)前層級(jí)別的視頻字幕。這種遞歸設(shè)計(jì)可以有效地利用不同視頻層次之間的協(xié)同作用，能高效地生成最多2小時(shí)的長視頻字幕。

　　VideoReCap實(shí)驗(yàn)數(shù)據(jù)

　　為了評估Video ReCap模型,研究人員推出了一個(gè)新的分層視頻字幕數(shù)據(jù)集Ego4D-HCap。該數(shù)據(jù)集是基于目前最大的公開第一人稱視頻數(shù)據(jù)集之一Ego4D。

　　Ego4D-HCap主要包含三個(gè)層次的字幕:短剪輯字幕、幾分鐘長的段描述和長段視頻摘要,用于驗(yàn)證分層視頻字幕任務(wù)的有效性。

　　結(jié)果顯示,在所有三個(gè)時(shí)間層級(jí),Video ReCap模型都大幅度優(yōu)于之前的強(qiáng)大的視頻字幕基準(zhǔn)模型。此外,還發(fā)現(xiàn)遞歸架構(gòu)對于生成段描述和視頻摘要非常重要。

　　例如,不帶遞歸輸入的模型在段描述生成方面CIDEr性能下降1.57%,而在長時(shí)間視頻摘要生成方面下降了2.42%。

　　研究人員還在最近推出的長序視頻問答基準(zhǔn)EgoSchema上驗(yàn)證了該模型。結(jié)果顯示,Video ReCap生成的分層視頻字幕可以將文本問答模型的性能提高4.2%，并以50.23%的整體準(zhǔn)確率刷新了記錄,比之前的最佳方法提高了18.13%。