快5G的慢動作 展銳5G芯片捕捉每一毫秒的精彩

　　日常生活中，手機早已成為我們形影不離的伙伴，手機的拍照和錄像功能為我們記錄了生活中點點滴滴，讓美好的記憶成為永恒。特別是視頻錄制功能，忠實地留存了身邊的精彩時刻。

　　普通視頻

　　對于普通視頻，手機中camera系統(tǒng)按照30fps采集圖像，即一秒內(nèi)均勻采集30張圖像，經(jīng)過camera系統(tǒng)的處理，最終也按照30fps的幀率，編碼成為視頻文件。播放視頻時，視頻播放器同樣按照30fps的幀率解碼視頻并顯示。用戶看到的是真實世界的原本回放，一切都如現(xiàn)實生活一樣。

　　為了增強視頻錄制功能，如今各大旗艦手機中，不約而同地設計了慢動作視頻錄制功能。

　　什么是慢動作視頻錄制功能呢?

　　慢動作視頻

　　所謂慢動作視頻錄制功能，它會將視頻中拍攝對象的運動變慢、變緩，用戶可以仔細地欣賞每一個動作的緩慢變化。

　　目前，大家看到的慢動作視頻錄制一般為120fps和240fps幀率。以240fps慢動作視頻錄制為例，當用戶啟動拍攝240fps慢動作視頻時，手機中camera系統(tǒng)按照240fps幀率采集圖像，即一秒采集240張圖像，平均4毫秒采集一張，它更加精細地從現(xiàn)實中獲取了圖像數(shù)據(jù)。Camera系統(tǒng)對240幀圖像逐一處理，最后編碼成視頻文件。

　　視頻播放時，播放器依然按照30fps幀率播放。我們錄制時候的1秒240張圖像，播放時需要8秒顯示，視頻畫面被放慢了8倍，各種動作和變化全部變緩。這種視頻特別適合拍攝各種運動，或者轉瞬即逝的時刻。用戶看到了比普通視頻精細8倍的運動變化，欣賞了更多的變化細節(jié)。

　　高幀率慢動作瞬間視頻

　　既然已經(jīng)擁有了240fps這樣的慢動作視頻，為什么還要更高幀率慢動作瞬間視頻，如960fps視頻?

　　我們對技術的追求是無止境的，用戶對精彩的需求也是無限的。960fps慢動作瞬間視頻可以讓用戶體會到每一毫秒的畫面變化，欣賞到每一毫秒的精彩畫面。

　　錄制這種960fps高幀率慢動作視頻，不像240fps慢動作視頻那么簡單。Camera系統(tǒng)采集數(shù)據(jù)的sensor因硬件性能局限，普通camera  sensor很難達到960fps這樣高的采集幀率。目前市面上的旗艦手機主流是采用240fps幀率的camera sensor。為了產(chǎn)生960fps視頻，camera系統(tǒng)必須采用FRC(Frame Rate Conversion)技術，將按240fps幀率采集的圖像數(shù)據(jù)離線轉換為960fps幀率，之后完成視頻編碼。這樣用戶就能欣賞到每一秒的精彩瞬間。由于FRC技術性能和所需資源限制，camera系統(tǒng)一般只采集時長為三秒左右的圖像進行處理，最終視頻播放時長可達10秒左右。該功能只有少數(shù)高端旗艦機具有，大大提升了這些手機的競爭力。

　　紫光展銳第六代影像引擎Vivimagic

　　展銳唐古拉5G芯片T770，搭載了第六代影像引擎Vivimagic解決方案，首次采用四核ISP實現(xiàn)了三攝/四攝場景無縫變焦，支持長焦、廣角、超廣角、微距鏡頭，可實現(xiàn)3倍光學變焦，6倍混合變焦，30倍數(shù)字變焦。

　　四核ISP處理速度高達每秒16億像素，最高可支持拍攝1.08億像素照片，單攝零延遲拍照可達6400萬像素。

　　對于慢動作視頻錄制功能，最高支持480fps不限時高清慢動作視頻拍攝，用戶可以充分利用五億像素級處理速度來拍攝慢動作視頻;采用FRC技術，用戶可抓拍高幀率高清慢動作瞬間視頻，捕捉毫秒級精彩細節(jié)。

　　FRC技術介紹

　　FRC(Frame Rate Conversion)技術用于提升視頻幀率，一般通過前后幀信息產(chǎn)生新的幀，增加單位時間內(nèi)采集到的圖像數(shù)據(jù)量，讓用戶獲得更多圖像信息。其中運動估計和運動補償算法至關重要。

　　運動估計和運動補償(Motion Estimation and Motion Compensation，簡稱MEMC)，就是通過對圖像中物體的運動軌跡的估計和檢測運動矢量，然后利用原始幀和運動矢量信息，通過運動補償插值的方式構建新的圖像幀(稱之為補償幀)，最后在原始幀中間插入補償幀來提升畫面的流暢性。

　　以24fps插幀到60fps來舉例說明，因為60不是24的整數(shù)倍，所以必須采用3:2 pull up pull down的方式進行幀重復，也就是當前幀重復3次，下一幀重復2次，依次類推，這樣就把24fps視頻的各幀圖像“相對均勻”的分配到60fps的時間節(jié)拍上。因為每一幀的重復次數(shù)不相同，所以產(chǎn)生了抖動(Judder)現(xiàn)象。

　　MEMC技術，根據(jù)物體運動信息來動態(tài)的生成補償幀，可以非常有效的改善Judder現(xiàn)象。但由于所有新增的圖像幀都是運動預測計算出來的，因此預測的不準確可能會帶來副作用，比如光環(huán)“Halo”效應。通過對物體運動軌跡的精確計算，可以減小副作用。

　　另外一個可能的現(xiàn)象是小物體運動所對應的小物體丟失，例如足球比賽中的足球，在一些補償幀中消失了。原因在于大部分的MEMC算法，基于運算復雜度和實現(xiàn)成本考慮，采用塊匹配方式來計算相鄰幀之間的物體的運動相關性，而不是采用像素級的預測，導致小物體的運動矢量估計不準確，進而導致小物體的丟失或出現(xiàn)重疊等現(xiàn)象。

　　優(yōu)秀的MEMC算法，除了解決去除Judder等基本問題之外，還需對隨之產(chǎn)生的光環(huán)Halo、小物體消失或重影等artifact有好的解決方案。

　　紫光展銳視頻編碼專家組基于MEMC算法研究出了高清視頻圖像四倍插幀算法，完美地實現(xiàn)了視頻序列的四倍插幀，為了高幀率慢動作瞬間視頻功能實現(xiàn)奠定了基礎。

　　高幀率慢動作瞬間視頻

　　展銳唐古拉5G芯片T770的camera系統(tǒng)具備強大處理能力，支持240fps 1080P和480fps 720P慢動作視頻錄制�；�于240fps 720P圖像數(shù)據(jù)，采用FRC技術，借助多核CPU，可以實現(xiàn)960fps 720P高清慢動作瞬間視頻錄制。

　　對于更高幀率，如果camera sensor支持480fps 720P圖像采集，camera系統(tǒng)也可以實現(xiàn)1920fps的瞬間視頻編碼，這對手機性能有了更高要求。1920fps瞬間視頻，平均0.5毫秒一張圖像，將現(xiàn)實世界的運動放慢了64倍，用戶可以欣賞到更加細膩的精彩瞬間，給用戶帶來前所未有的視覺體驗。

　　隨著視頻技術的不斷發(fā)展，手機上camera系統(tǒng)會有越來越多的新穎功能出現(xiàn)，為用戶帶來不同凡響的視覺體驗。高幀率慢動作瞬間視頻無疑是其中一抹靚麗風景，展銳唐古拉5G芯片T770在影像方面擁有更優(yōu)秀的表現(xiàn)。