嵌入式視覺常用之色彩格式

大多數編譯碼器所使用的色彩空間都與影像傳感器輸出的色彩空間（前提是系統使用彩色組件）不同。嵌入式視覺中主要使用的色彩空間為：

．紅、綠、藍：

包含RGB信息作為影像傳感器的輸出，通常用于VGA等簡單接口的輸出。

．YUV：

包含亮度（Y）和色度（U和V），該色彩空間用于大多數編譯碼器和一些顯示標準。

常用的YUV格式為YUV4:4：4和YUV4:2：2。兩種格式的區別在于4:4：4 格式下，每像素由8位表示，可得到24位像素；而在4:2：2格式下，U值和V值在像素之間共享，可得到16位像素，同時可節省儲存空間。

圖像處理鏈于何處執行將影響系統效能

另一個對圖像處理鏈和SWAP-C具有巨大影響的決策是，大部分圖像處理鏈應在哪里執行。

首先是在邊緣端執行，亦即在嵌入式視覺系統內執行。在邊緣端的執行可提高系統的功耗和處理/儲存要求，但能夠實現更快的響應速度。在邊緣端的處理將成為大部分嵌入式應用中的主導應用，例如自動駕駛輔助系統、機器視覺等。

其次是在云端執行則需要嵌入式視覺系統捕捉影像，并且利用網絡技術將影像傳送到云端。可在云端處理的典型應用，包括醫療影像或科學應用。這類應用的信息處理非常密集，且毋需實時結果。

為實現圖像處理鏈，嵌入式視覺系統的核心需要一個處理核心，不僅須控制所選的影像傳感器，還要能接收和執行圖像處理管線，并通過指定網絡基礎設施傳送影像，或發送到選定的顯示器。諸多嚴苛的要求導致經常必須選擇FPGA，或者使用如Zynq組件的All Programmable SoC。

Zynq組件將兩個高效能ARM A9處理器與FPGA架構結合，讓處理系統（PS）能夠用來透過GigE、PCIe或CAN等接口與主機系統連接，同時執行系統的一般管理和日常事務。組件的另一半，即可編程邏輯（PL），可用來接收和處理影像，并充分利用FPGA架構的平行處理特性。若影像被要求通過網絡基礎設施傳送，便能使用Zynq中的直接內存訪問（DMA）控制器有效地將影像數據從PL移動到PS DDR內存。當影像移到PS DDR內存內，便可進一步被所選傳輸媒介的DMA控制器使用。

當然，一旦影像位于PS DDR內，高效能A9處理器亦可提供進一步的處理操作。Zynq架構的特點在于將處理后的影像從PS DDR移回PL中的影像管線。

傳感器融合為嵌入式視覺發展最終目標

許多嵌入式視覺系統還要求能整合更多傳感器數據，以便更佳地感測環境。包括使用許多同類型傳感器擴大視野，例如自動駕駛輔助系統的全景功能，或者整合多個不同類型的傳感器，提供可見光譜下無法看到的視覺內容，如在一般影像傳感器數據上覆蓋紅外線信息。

在很多應用情境下，需要將嵌入式視覺應用的輸出與其他傳感器數據進行融合，讓產生的影像包含多個不同傳感器信息。最簡單的傳感器融合應用是將不同頻譜的影像結合，例如將可見光與紅外線融合以實現更好的夜視效果。

傳感器融合另一項更加復雜的應用是，將影像系統、全球定位衛星系統（GNSS）、數字地圖信息，以及不同波長下運行的其他傳感器（例如雷達）進行融合，以確定另一輛汽車的相對位置，避免汽車互相碰撞。

由于要將不同系統融合在一起并擷取信息，因此傳感器融合對處理器的條件要求非常高。All Programmable SoC解決方案能夠與多個傳感器建立接口連接，以及平行處理信息，提升數據傳輸量，因而在許多方面具備顯著優勢。

在傳感器和系統層面，必須考慮諸多因素，并有許多技術、架構和組件可用來實現嵌入式視覺系統。