根據不同粒度的CAE，可以實現從粗獷和精確的內容感知編碼，從而提升帶寬利用率，為用戶提供更好的觀看體驗。

在之前的博文中，我們描述了自適應比特率（ABR）流的挑戰，其中OTT視頻內容提供商必須以多幀分辨率和比特率來編碼和存儲每個源視頻，其中幀分辨率和比特率的集合稱為編碼階梯。我們注意到標準ABR編碼階梯的一個常見問題是它們過于呆板，要么編碼比特率太高的簡單視頻而導致帶寬浪費，要么編碼比特率太低的較復雜視頻而導致重播時視覺效果不佳。

接下來，我們解釋了內容自適應編碼（CAE）如何通過將ABR編碼階梯調整為每個視頻的內容來提高ABR流媒體的體驗質量，從而允許觀眾在相同的帶寬條件下用更高的幀分辨率播放視頻，或在帶寬消耗較低的情況下以相同的幀分辨率播放視頻。我們還區分了應用CAE的兩種不同的方法：在編碼器內部，通過基于感知考慮調整編碼器內的編碼決策；以及在編碼器外部，通過基于視頻數據的特性來調整編碼參數（例如編碼比特率）。

在這篇后續博客文章中，我們將觀察到CAE可以應用于多個級別，其具體取決于視頻內容的建模精確程度。下面，我們將闡述幾個不同級別的CAE。

內容自適應編碼（CAE）算法的類型

圖1描繪了基于如何精確地對視頻內容進行建模（以及因此編碼的精確程度）的CAE的多種可能實現。在圖1中，CAE的外部應用（涉及不太精確的自適應）是朝向底部的，而CAE的內部應用（涉及更精確的自適應）是朝向頂部的。圖1顯示了四種一般自適應水平，但實際上可能會有更多。 圖1中的四個級別可以描述如下。

按類別自適應編碼。在此版本的CAE中，為各種類別的視頻導出了不同的比特率梯形圖。類別可以是語義類別，例如視頻質量專家組定義的八個語義類別 - 包括視頻會議，電影，體育，音樂視頻等。或者，類別可以是電影類型：戲劇，動作片，動畫等。在任何情況下，以這種方式對視頻進行廣泛分類不需要太費力，并且可以想象使用更具激進的比特率階梯（較低比特率）來用于通常“要求不高”的類別（例如動畫）和使用更保守的比特率階梯（更高比特率）來用于可能“要求更高”的類別（如動作片，音樂視頻）。

這種方法的問題在于，在復雜性方面類別的不同質（例如，考慮兩部動作片之間復雜動作場景頻率的相對差異，如“星球大戰：新希望與復仇者”）。因此，單個編碼階梯不太可能適用于某個類別中的所有視頻。

圖1：內容自適應編碼（CAE）變體

Per-title自適應編碼。在這個版本的CAE中，Netflix提出了早期版本，通過測量不同比特率和幀分辨率的視頻的平均質量，為每個特定視頻導出不同的編碼梯。在最初的實施中，Netflix使用PSNR測量質量，并在多幀分辨率下計算出速率-質量曲線。從這組速率-質量曲線中，他們確定了每個視頻的最佳工作點（比特率和分辨率）—最佳比特率階梯。

這種方法的問題在于，諸如電影之類的長格式視頻包含混合內容（有簡單的和復雜的），因此來自每個條編碼階梯的編碼比特率可能仍然過于死板，導致視頻某些部分（較復雜的場景）的質量較差，以及某些部分（更簡單的場景）比特浪費。

Per-segment自適應編碼。此版本的CAE涉及使用類似于上述按條CAE的方法。將視頻分成段并確定每段的最佳比特率。可以以視頻的規則來間隔定義片段，或者可以通過場景剪切檢測算法確定的場景邊界來定義片段。在任何情況下，按段CAE方法的目標是測量每個段的復雜性，然后確定實現該段的可接受質量的最佳編碼比特率。

按段CAE解決方案在衡量復雜性的指標、視頻質量的指標以及將編碼比特率與質量相關聯的方法上有所不同。與按條CAE一樣，按場景CAE仍然遇到了混合內容的問題，因為視頻的任一給定片段可能包含簡單和復雜的幀。

按幀和按塊CAE。通過在逐幀的基礎上調整編碼器的編碼決策，CAE的最終級別使編碼器內部的調整非常嚴格。例如，速率控制算法基于正被編碼的當前幀的內容來調整幀量化。在更精細的粒度級別，按塊CAE在編碼發生時調整每個編碼塊的編碼決策，可能基于該幀中當前塊、周圍塊或所有塊中的內容，調整每個塊的編碼模式選擇或量化操作。由于按塊CAE技術以非常精細的粒度運行，因此它們沒有足夠的時間信息來為ABR編碼階梯選擇最佳比特率。但是，它們可以顯著提高編碼效率，既可以提高給定比特率的質量，也可以在保持質量的同時降低比特率。