本文由芒果TV音視頻技術(shù)專家譚嵩在LiveVideoStackCon2020線上峰會的演講內(nèi)容整理而成，結(jié)合芒果TV的工程化研發(fā)實踐經(jīng)驗，對基于主觀感興趣區(qū)域的視頻編碼技術(shù)進(jìn)行了詳細(xì)解析。

大家好，本次分享我將結(jié)合芒果TV音視頻技術(shù)研發(fā)團(tuán)隊的實踐，對主觀感興趣區(qū)域的視頻編碼技術(shù)進(jìn)行詳細(xì)解析。內(nèi)容包括以上四個部分，其中會重點介紹我們在主觀感興趣區(qū)域編碼工程化中遇到的一些問題與思考。 1 5G背景下，視頻運(yùn)營平臺的新挑戰(zhàn)

隨著5G時代的到來，用戶對于視頻畫質(zhì)體驗的要求越來越高，如4K、8K、高幀率、HDR等。廣電總局對電視播出的4K超高清視頻規(guī)范的要求是視頻碼率大于100兆?；ヂ?lián)網(wǎng)視頻應(yīng)用對此還沒有規(guī)范性的標(biāo)準(zhǔn)，但為了達(dá)到合格的播放體驗要求，視頻碼率也將呈現(xiàn)出成倍增長的趨勢，這就導(dǎo)致視頻運(yùn)營平臺短期內(nèi)在CDN成本、用戶播放卡頓兩方面會面臨更加嚴(yán)峻的挑戰(zhàn)。

面對上述挑戰(zhàn)，我們最容易想到的方法就是通過壓縮效率更高的下一代視頻編碼標(biāo)準(zhǔn)，如AV1、VVC等，有效降低成本。但就目前情況來看，這些標(biāo)準(zhǔn)其實還不具備大規(guī)模商用的生態(tài)環(huán)境，真正能夠支持硬件解碼的設(shè)備其實非常的少。另一方面，內(nèi)容感知編碼以及拐點參數(shù)在國內(nèi)外各大視頻平臺已經(jīng)得到普遍的應(yīng)用。在這種情況下，我們需要的是挖掘更多的工具或手段，極限壓榨編碼的碼率。 2 人眼主觀感興趣關(guān)注的特點 2.1 人眼的視覺過程

人眼的視覺過程大致為視網(wǎng)膜成像，大腦接收信息并做出初步的分析，產(chǎn)生視覺注意力聚集，并且最后對重點區(qū)域做關(guān)注。例如，人在開車過程中，前方的道路和車輛就是主觀關(guān)注和感興趣區(qū)域，周邊的區(qū)域就是非關(guān)注區(qū)域。

2.2 主觀感興趣區(qū)域數(shù)據(jù)的提取

主觀感興趣區(qū)域數(shù)據(jù)集一般是通過眼動儀獲取。眼動儀是記錄眼動行為的一套設(shè)備，它包括一幅特殊的眼鏡，一個記錄模塊，一套控制軟件，一套數(shù)據(jù)分析軟件。其中控制軟件是非常重要的一個組成部分，因為它要對觀看的對象和眼部行為數(shù)據(jù)做精密的同步，數(shù)據(jù)分析軟件就是后期對數(shù)據(jù)做清洗分析。

使用眼動儀獲取ROI大數(shù)據(jù)要注意這樣幾點問題：首先使用眼動儀收集數(shù)據(jù)的成本比較高，且更為重要的是人力的投入，因為需要有一定基數(shù)的參與量，數(shù)據(jù)才具有客觀意義；其次是數(shù)據(jù)的可靠性，一個經(jīng)驗并不豐富的測試人員，很可能在測試過程中會給自己某些心理暗示，導(dǎo)致記錄的行為并非自然狀態(tài)下的真實行為，也就是說最后取得的數(shù)據(jù)很可能是無效的；最后，第三點就是數(shù)據(jù)清洗。 3 主觀感興趣視頻編碼的工程應(yīng)用 3.1 設(shè)計背景

基于感興趣區(qū)域的視頻編碼是利用人眼主觀存在感興趣區(qū)域和非感興趣區(qū)域的特點，我們對主觀感興趣區(qū)域和非感興趣區(qū)域的碼率分配做一定的修正，將更多的碼率分配到主觀感興趣區(qū)域，從而在主觀上提升視頻質(zhì)量。這是感興趣區(qū)域視頻編碼的理論設(shè)計，在工程上官方版本的x264、x265編碼器并沒有這樣的設(shè)計，即對于一個x264編碼器或者x265編碼器來說，視頻的每個畫面中的每個像素都是同等重要。因此我們需要對編碼器做一個工程化的開發(fā)，來實現(xiàn)不同像素的權(quán)重差異化，目標(biāo)是達(dá)到同等碼率提升主觀質(zhì)量或者同等體驗降低碼率，降低運(yùn)營成本。 3.2 ROI編碼器實現(xiàn)架構(gòu)設(shè)計

我們在編碼的兩個階段做了ROI的處理，分別是視頻的前處理以及視頻編碼的過程。 前處理階段主要是做ROI區(qū)域的增強(qiáng)，即圖像層面的增強(qiáng)，同時對非ROI區(qū)域圖像層面，進(jìn)行降噪、磨皮等處理。做過視頻編碼的朋友應(yīng)該清楚，高頻其實對編碼是不太友好的，低頻則對編碼更加友好。非ROI區(qū)域進(jìn)行降噪、磨皮之后，更多的就變成了相對友好的低頻區(qū)域。那么在同等的PSNR或者客觀指標(biāo)下，碼率會有明顯的降低。 視頻編碼階段，我們主要是通過AQ調(diào)整QP值，實現(xiàn)碼率分配的修正。也就是說對不同的主觀感興趣區(qū)域和非感興趣區(qū)域做不同的QP調(diào)整， QP越小，質(zhì)量越好，碼率也會越高；QP越大，宏塊得到的碼率越小，畫質(zhì)越差。通過這樣一個調(diào)整，實現(xiàn)ROI的權(quán)重調(diào)整。 3.3 ROI區(qū)域的定義

ROI編碼并不是一個很新的概念，之前就有中心區(qū)域ROI、人臉ROI、字幕ROI等。 中心區(qū)域ROI是基于經(jīng)驗的判斷，在正常視頻的拍攝手法上通常會將最重要的內(nèi)容放在畫面最中間。人臉ROI其實也是基于這樣的經(jīng)驗判斷，一般來講人物往往是視頻內(nèi)容中的主角。 字幕ROI是非常重要的一個方面，我們做過一個主觀的調(diào)研：完全同樣的視頻畫面，分別提供不同清晰度的字幕進(jìn)行主觀盲測。最終結(jié)果是：認(rèn)為“字幕清晰”的視頻是“畫質(zhì)更好”視頻的，占比明顯更高。 基于深度學(xué)習(xí)的ROI區(qū)域識別是當(dāng)前更有效的手段。 3.4 深度學(xué)習(xí)的ROI的識別技術(shù)

基于深度學(xué)習(xí)的ROI的識別在技術(shù)上分為兩類，一個是基于感興趣區(qū)域的熱度圖檢測，另外一個是顯著對象分割。通過實踐理解，在應(yīng)用場景上我們認(rèn)為這兩者是有一定差異性的。我們認(rèn)為感興趣區(qū)域的熱度圖更適合長視頻劇集類型的節(jié)目，顯著對象分割則更適合真人自拍小視頻等場景。 3.4.1 顯著對象分割

顯著對象分割為什么會更適合真人直播或者真人自拍小視頻？ 真人直播或者真人自拍小視頻通常來說有這兩個特點：第一是前景在畫面中面積的占比一般較大；第二是前景和背景相關(guān)性比較弱，且前景的內(nèi)容重要性具有絕對的地位。以此可以也必須對背景做比較多的圖像細(xì)節(jié)丟失和編碼壓縮，來提升前景顯著區(qū)域的畫面質(zhì)量。 3.4.2 感興趣區(qū)域熱度檢測

劇集類長視頻節(jié)目的特點是畫面的整體相關(guān)性更強(qiáng)、畫面存在多點位ROI區(qū)域，因此不能類似于真人小視頻一樣過度的衰減非ROI區(qū)域來補(bǔ)償ROI區(qū)域，需要用較多的非ROI區(qū)域來補(bǔ)償較小的ROI區(qū)域，這樣非ROI區(qū)域的衰減在主觀上也不明顯。感興趣熱度圖符合這個需求特點。 3.5 第一版ROI編碼工程化實現(xiàn)過程

這是我們在ROI編碼工程化過程中實現(xiàn)的第一個版本。首先實現(xiàn)的是對一個ROI元素的處理。我們從原圖分析得到ROI的熱度圖，然后對熱度圖做二值化處理并且膨脹后腐蝕到可控的閾值范圍內(nèi)的ROI面積占比。最后我們做了一個宏塊級的數(shù)據(jù)結(jié)構(gòu)化，因為最終要映射到編碼宏塊上去，這里有一個閾值參數(shù)，是我們要控制好ROI區(qū)域和非ROI區(qū)域的面積占比。面積太小，ROI增強(qiáng)的效果不太明顯，但是面積過大，由于ROI區(qū)域畫質(zhì)提升是以犧牲非ROI區(qū)域的細(xì)節(jié)或質(zhì)量實現(xiàn)的，這會導(dǎo)致非ROI區(qū)域的質(zhì)量下降非常明顯、如果進(jìn)一步下降達(dá)到主觀產(chǎn)生厭惡感的閾值，會吸引注意力到這些糟糕的、突兀的畫面上，ROI編碼的目的就沒有達(dá)到。

在工程化實現(xiàn)上，我們對x264、265編碼器做了一個ROI的編碼實現(xiàn)。編碼器讀取當(dāng)前幀的ROI分析結(jié)果元數(shù)據(jù)，在視頻編碼器中通過AQ實現(xiàn)對QP的修正，ROI區(qū)域的QP會降低，編碼質(zhì)量會提升，同時碼率也會消耗的更多。整幀碼率控制依然由x264和x265原生的碼率控制算法負(fù)責(zé)。 3.6 二值ROI的失敗case

做完第一個版本之后，我們發(fā)現(xiàn)，由于這是一個二值ROI，ROI區(qū)域和非ROI區(qū)域是0和1的區(qū)別，導(dǎo)致ROI和非ROI區(qū)域的非平滑過渡在銜接處會有一個明顯的畫質(zhì)對比跳變（QP值跳變）。第二個問題是我們對非ROI區(qū)域的QP調(diào)整是交回給x264和x265編碼器原生的碼率控制，由于我們對ROI區(qū)域的QP調(diào)整破壞了原生碼率控制算法的數(shù)學(xué)關(guān)系，所以部分場景出現(xiàn)非ROI區(qū)域的渣感現(xiàn)象。這是兩個失敗的case。 3.7 灰階ROI迭代版本

因為上述兩個失敗的case，我們進(jìn)一步提出了一個迭代版本灰階ROI?；译AROI實現(xiàn)的是ROI和非ROI區(qū)域之間一個ROI強(qiáng)度的灰度過渡，所以QP會有一個平滑的調(diào)整，避免兩個區(qū)域邊緣質(zhì)量差距過大，形成一個突兀的畫質(zhì)對比。 3.7.1 灰階ROI的計算過程

灰階ROI碼率控制的計算過程：我們的計算目標(biāo)是得到一個QP的修正值QP’，Sij是我們對應(yīng)宏塊的一個灰階的ROI值，也就是我們剛才這里ROI的一個灰度的數(shù)值，范圍是0到255。p%其實是ROI區(qū)域的面積占比，b%是ROI區(qū)域的碼率的占比，也就是說我們在p%面積占比的ROI區(qū)域上給予了b%的碼率。目前我們采用的數(shù)值p是20%，b是30%，會對20%的面積修正給予30%的碼率。同時對非ROI區(qū)域的QP做了反向的主動修正。

通過這個迭代版本實現(xiàn)了ROI和非ROI區(qū)域畫質(zhì)的平滑過渡，同時非ROI區(qū)域渣感明顯降低。 3.8 效果評估

這段視頻是最終送給編碼器指導(dǎo)ROI編碼的ROI灰階圖數(shù)據(jù)的真實示例。為了更加清晰和直觀，這個示例中非ROI區(qū)域我們做了一個灰度視頻顯示，ROI區(qū)域還是原來的彩色顯示。

上圖是ROI編碼和非ROI編碼的實際效果對比圖。其中ROI編碼的版本降低10%碼率，在這個條件下，主觀質(zhì)量依然高于非ROI編碼版本。 4 問題和挑戰(zhàn)

我們在最后繼續(xù)向行業(yè)拋出這個不算很新的話題 — ROI編碼視頻質(zhì)量的機(jī)器評價，目前我們主要還是通過人工的方式進(jìn)行一些主觀評價。在批量化自動生產(chǎn)條件下，如何做好ROI編碼視頻質(zhì)量的機(jī)器評價，是非常具有挑戰(zhàn)和價值的一項工作。