電子發燒友App
摘要
全彩LED顯示墻異步控制卡以成本低，集中管理等特點，逐漸成為全彩LED顯示墻控制卡的主流。AM335x具有豐富的硬件外設，基于Linux的軟件方案，包含GPU Composition模塊能提供完整的多圖層疊加縮放等功能，十分適合全彩LED顯示墻的異步控制卡應用。本文將從硬件和軟件兩個方面介紹基于 AM335x提供的相應解決方案。
1 全彩LED顯示墻控制卡簡介
全彩LED顯示顯控制卡根據控制方式，可以分顯兩大顯：同步控制卡和異步控制卡。
1.1 同步控制卡
全彩LED同步顯示墻主要由PC，同步控制卡和LED顯示模塊組三部分組成，其連接方式如下：
圖1 同步控制模塊圖
同步控制卡將DVI信號轉成LED顯示模組所需要的視頻信號格式，而且用以太網的方式傳輸給LED顯示模組。同步控制卡本身不做視頻解碼等處理，僅做格式轉換。因此，一般采用FPGA實現該功能。
1.2 異步控制卡
全彩LED異步顯示墻由異步控制卡和LED顯示模組組成，其連接方式如下：
圖2 異步控制卡模塊圖
由上圖，異步控制卡主要由兩個大的部分組成：
視頻處理模塊。在此模塊中，SOC從網口得到視頻流以及UI的素材，進行視頻解碼和UI 繪制，最后通過LCD接口傳送給 FPGA。
視頻信號轉換模塊。在此模塊中，FPGA將視頻信號轉換成LED顯示模組所需的信號，并通過網口輸出，該功能和同步控制卡的 功能一樣。
對比兩種方案，可見異步控制卡具體有成本低，便于集中管理的特點。
2 異步控制卡系統分析
下面從硬件和軟件兩個方面分析其主芯片的系統需求。
2.1 硬件部分
從硬件上看，視頻處理模塊部分主要由最小系統和外圍模塊兩大部分組成。
最小系統
2、不同級別的全彩屏對SOC的處理能力有不同要求，具體的要求在軟件部分有說明。
外圍模塊
1、音頻接口，LCD接口。即LED顯示墻的基本需求。
2、網絡接口。百兆甚至千兆網口可以有效保證顯示內容更新的高效性。
3、USB接口。便于系統升級，以及擴展基于USB各種外設。
此外，異步卡一般和LED顯示墻一起放置于室外，所以需要可工作在寬溫度范圍的工業級芯片。
2.2 軟件部分
軟件部分主要由操作系統和應用軟件兩大部分組成。
2.2.1 操作系統
在異步控制卡行業中，主流系統選擇了Linux。
2.2.2應用軟件
應用軟件主要包含三個部分：
多媒體部分。用于對音視頻碼流的解碼。
全彩屏主要分為高端和中低端兩個檔次：
高端，視頻分辨率以及顯示分辨率要求在720p分辨率以上。
中低端，視頻分辨率以及顯示分辨率在640x480以內。
由于LED墻一般顯示物理面積大，而且亮度高，所以對視頻流的幀率要求較高，要求在每秒25幀以上。因此，對于高端產品，一般需帶有視頻硬解碼模塊的主芯片，其價格一般較高；對于低端產品，使用軟解碼可實現，所以需要運算性能較強的主芯片，成本優勢較好。
UI 部分。
用于顯示字幕，圖片等，并處理UI 元素和視頻層的疊加。疊加部分。由于涉及到透明度，尺寸變換等，運 算需求也很大，所以需要主芯片具有相關的硬件加速模塊。
遠程控制部分。
該部分主要實現上位機對各控制卡的遠程控制，內容更新等功能。該部分一般通過網絡應用層實現，各控 制廠家有自己的協議。
3 AM335x的解決方案
AM335x是TI新近推出的基于ARM Cortex-A8 的SOC，外設豐富，主要針對工業應用領域。針對異步控制卡應用，TI也提供了基于Linux的解決方案。下面將從硬件和軟件兩方面分別介紹該方案。
3.1 硬件方案
AM335x具有一個強勁的核心Cortex-A8，該核的運算能力可達2.0DMIPS/MHz， 而且AM335x的主頻可到1GHz，即運算總的能力可達2000DMIPS，可流暢解碼640x480的MPEG4視頻流，而且有足夠的運算余量繪制各種UI。
此外，AM335x還有一個3D圖形加速核，SGX530，可支持OpenGL ES2.0。TI 在OpenGL ES2.0之上提供了相應的軟件方案，將SGX530用于視頻幀的尺寸縮放以及實現對UI 層和視頻層的透明疊加的加速，后面軟件部分會詳細介紹該方案。
同時，AM335x具有豐富的外設，如下圖所示：
圖3 AM335x異步控制卡硬件模塊圖
由上圖可見AM335x可完全涵蓋所有異步控制卡的外設需求，不需要其他擴展。因此，總體成本具有很強競爭力。
TI的開發板GP EVM（可查閱參考文檔［1］）都可以很便利的進行LED應用的評估和開發，下文中的軟件方案是以GP EVM為平臺進行開發的。
3.2 軟件方案
軟件方案主要分為操作系統和應用軟件兩大塊，具體介紹如下。
3.2.1 操作系統
如前所述，Linux是異步控制卡的主流操作系統，因此，本方案也選擇了Linux作為平臺。AM335x EZSDK提供了Linux的完整開發包，包括板級支持包，交叉編譯器，文件系統等。
3.2.2 軟件模塊
UI
在基于Linux的異步控制卡平臺上，QT以免費，開源，開發資料全以及在嵌入式系統上運行效率高等特 點，已經成為異步控制卡廠商開發UI主要的平臺。在EZSDK中已包含對QT4的移植。 QT在開源網站上也有很豐富的資源。
多媒體
在EZSDK中提供Gstreamer+ffmpeg的多媒體解決方案，可查閱參考文檔［5］和參考Gstreamer文檔（參考文檔 ［6］）。在多媒體中，由于格式比較多，各種編碼的復雜度以及編碼質量差異較大是一個難點。而在LED顯示 墻的應用場景中，多媒體碼流可接受轉碼方式，所以可指定碼流的格式。這里，推薦的多媒體格式 MP4（MPEG4+AAC），其中MPEG4選擇simple profile，對此種碼流，若分辨率為640x480，AM335x可流暢解 碼每秒25幀以上。
顯示后端
AM335x只有一個功能簡單的LCD控制器，該控制器只支持RGB格式，其在Linux中的驅動為framebuffer，可 查閱參考文檔［7］ 。相應的上述兩個模塊的顯示后端也以framebuffer為基礎：
Gstreamer的后端顯示插件采用fbdevsink。由于視頻解碼后的格式為YUV格式，而AM335x自帶的LCD控制器只支持RGB格式，因此此處可使用Gstreamer的插件ffmpegcolourspace進行色度空間的轉換
QT 默認以framebuffer為顯示后端。
Framebuffer會接收來自QT和Gstreamer的圖像幀數據，然后進行OSD的疊加和縮放等操作，數據流如下圖所示：
圖4 默認軟件方案數據流程圖
3.2.3軟件復雜度分析
在圖4中，深色模塊為運算較密集模塊，具體分析如下：
Gstreamer的解碼和ffmpegcolourspace（CSC plugin）兩個模塊。ARM雖然有較強的運算能力，但對于較大分辨率的視頻解碼，視頻解碼的宏塊運算等需較大運算量。另外，色度空間涉及浮點運算，而且為逐點運算，所以運算量需求也不小。以640x480分辨率的MP4（MPEG4 simple profile+AAC）為例，若幀率為30fps時，ARM核的loading在91%左右，其中ffmpegcolourspace模塊約占運算量的 50%。
Framebuffer模塊。在該模塊中的OSD疊加指的是UI圖層和視頻圖層之間的疊加，而且是包含帶透明度的疊加，而圖層的縮放是指對原圖等比例的縮放，因而需對每一幀數據的每個像素點進行浮點乘加運算，參考ffmpegcolourspace的運算量，該部分運算量也應較大。可見，ARM核無法獨自勝任系統所需的全部運算。
3.2.4 基于GPU的優化方案–GPU Composition
GPU Composition軟件模塊，調用SGX530模塊進行色彩空間轉換，OSD疊加，圖層縮放功能，分擔A8的運算負載使其專注于QT，視頻解碼等應用，下面將具體介紹。
GPU Composition模塊的編譯和安裝。在TI Wiki上有明確說明，可查閱參考文檔［8］。
GPU Composition設計分析
A.各功能模塊
圖5 GPU Composition軟件模塊圖
SGX530實現的功能模塊標記為深色，具體功能如下：
a. gpuvsink該模塊設計為Gstreamer視頻顯示后端插件，將視頻解碼器解出的YUV 數據幀，傳送給SGX530模塊。按照標準的Gstreamer視頻顯示后端插件設計，可采用標準的顯示后端接口編程。對于視頻輸入的尺寸，要求其寬（width）為4個像素點的倍數。其輸出視頻幀數據這里可稱為Video Plane。
b. linuxfbofs該模塊設計為QT架構中的顯示后端，將QT的幀數據發送到SGX530模塊中處理。linuxfbofs和framebuffer有同樣的接口，對于QT應用開發是透明的。其輸出界面幀數據為Graphics Plane。
GPU Composition
該模塊基于Open GL ES 2.0接口設計，對輸入的Video plane和Graphics Plane進行色彩空間轉換，圖層縮放，OSD疊加等操作，將最終的幀數據推送到Framebuffer中顯示。
B. 模塊間的數據流
模塊間的數據以Plane的形式傳遞，具體介紹如下：
a. Plane格式
Video Plane可支持YUV422，NV12，I420和YUV420 格式幀數據。
Graphics Plane可支持RGB565，RGB888和ARGB8888幀數據。
GPU Composition接收這些格式的幀數據，并將其轉換為RGB格式，進行圖層縮放，OSD疊加等操作。
b. Plane的內存分配
SGX530輸入內存（Buffer），只支持物理地址連續的Buffer。因此，在gpuvsink和linuxfbofs中，使用cmem（具體可查閱參考文檔［9］）據此要求分配內存Pool來存儲幀數據，需在Linux啟動時通過命令行參數 ”mem=”配置預留給Kernel的內存，而剩下的內存即是給cmem所準備，用于分配物理連續的內存。
其大小的計算公式如下：
Pool size for Graphics Plane = width * height * Bytes Per Pixel
Pool size for Video Plane = video frame width * height * 2 （Bytes Per Pixel） * 8 （buffers）
對于一個Video Plane可能需要多個Buffer，其具體個數定義在
gpu-compositing/gpuvsink/src/gst_render_bridge.
#define PROP_DEF_QUEUE_SIZE 8
c. Pool傳遞
Graphics Plane和Video Plane以指針的形式將Pool傳遞給GPU Composition。
C. 模塊間的控制流
a. 配置信息數據結構
對于Graphics Plane，通過命名管道““/opt/gpu-
compositing/named_pipes/video_cfg_and_data_plane_X””其配置信息在下面數據結構中
關于此配置信息中，比較重要的有如下幾點：
1、對于QT而言，對入的對對參數來自Linux的FB對對，即對LCD屏的對示分辨率。
2、關于透明度（Alpha），Video plane在底部，因此，Graphics Plane決定Video Plane的可對度。Alpha 可分對：全局Alpha，整個Plane使用同一的一個Alpha對；以像素點（Pixel）對對位的Alpha， 即像素的數據格式對ARGB8888，可以在局部對置Alpha。
3、可以通對對置對出的對構體out_g對對對出Plane的對放。
對于Video Plane， 配置信息如下：
此配置結構體中的輸入信息，會通過Gstreamer的標準接口，通過前級的Gstreamer Plugin進行配置。如前所述，輸入視頻幀的寬（width）的像素點數，需為4的倍數；對于輸出信息，和Graphics Plane一樣，可以通過配置輸出數據結構out，實現縮放功能。
b. 命名管道（named pipe）配置信息
上述配置信息，通過存放于文件系統中的命名管道，傳遞到GPU Composition模塊。對于linuxfbofs，命名管道文件為/opt/gpu-compositing/named_pipes /gfx_cfg_plane_X。對于gpuvsink，命名管道文件為/opt/gpu-compositing/named_pipes /video_cfg_and_data_plane_X。
4 方案實驗
筆者基于GPU Composition方案，在AM335x EVM板上，開發了Gstreamer和QT應用程序，以驗證整個異步LED顯示墻方案的性能。
4.1 代碼及編譯
代碼分成兩個應用：
Gstreamer部分，可在參考文檔［10］下載，為一個視頻播放器，可循環播放MP4視頻
QT部分，可以在參考文檔［11］下載，包括一個時鐘和滾動字幕。
可以根據參考文檔［8］進行編譯。
4.2 代碼運行
在AM335x EVM（AM3358 主頻為720MHz）上，運行命令行如下：
這里播放的視頻流為mp4格式，其包含有分辨率為640x480的MPEG4 simple profile碼流以及AAC音頻流。
運行效果圖如下：
圖6 示例運行效果圖
可以從截圖中看到，OSD層和視頻層的透明度疊加很清楚。
4.3 性能分析
關于GPU Composition方案的性能提高，可以參考下面兩個截圖。
圖7中，沒有使用GPU Composition方案，CPU除了要做解碼，也需要做色彩空間轉換，其CPU占用率達到91%。
圖8中，使用了GPU分擔了視頻疊加，色彩空間轉換等運算，在整個系統的總運算量明顯大于僅僅Gstreamer播放視頻的情況下，ARM核的CPU占用率僅僅只有58%，仍給應用程序留下運行的空間。更多的示例可查閱參考文獻［8］。
圖7 單Cortex-A8軟解視頻流的系統負載
圖8 GPU Composition方案視頻播放的系統負載
5 總結
本文主要介紹了基于AM335x的全彩LED顯示墻異步控制卡方案，重點介紹了基于GPU 的軟件解決方案，在實現LED顯示墻所需的視頻層和OSD層疊加，縮放等功能的基礎上，仍給客戶定制的應用程序提供了足夠的開發空間。希望該方案能加速客戶進行異步控制卡的開發。
工商網監
評論