ADAS的技術(shù)使駕乘體驗更舒適、更安全、更智能。 TI JacintoTDA4VM&DRA829處理器是TI最新一代的處理器，以先進的高集成度和多核異構(gòu)的高性能處理能力，展現(xiàn)了其靈活的處理能力和極具競爭力的成本，為ADAS技術(shù)實現(xiàn)提供了極具競爭力的平臺。 在ADAS的應(yīng)用中，攝像頭作為感知模塊，越來越多地攝像頭被部署在應(yīng)用中，感知能力的大小對應(yīng)用來說至關(guān)重要，因此，本文將介紹Jacinto7處理器攝像頭接入和ISP的處理能力。

Jacinto7 圖像接入

Jacinto7 TDA4VM/DRA829攝像頭接入子系統(tǒng)包含了2x MIPI CSI-2接口 和video processing front end（VPFE），可以支持多個攝像頭的接入。

圖1 ： TI Jacinto7攝像頭接入子系統(tǒng)

對于MIPI-CSI2接口支持情況如下：

2 個 MIPI D-PHY，帶 4 個通道（2.5Gbps/通道）

支持8個帶反串器集線器的傳感器

2x 攝像機適配層 （CAL）

– MIPI CSI2 的協(xié)議棧

–支持所有MIPI支持的格式

原始/DPCM/YUV

原始 8、10、12、14、16 位

– 伴奏或線性

從 SDRAM 并發(fā)讀取像素流

– I/F 端口流量的實時優(yōu)先級

VPFE輸入接口模塊用于接收原始圖像、視頻數(shù)據(jù)、YUV等數(shù)字圖像數(shù)據(jù)。 VPFE支持的功能如下：

支持傳統(tǒng)的拜耳模式和Foveon傳感器格式。

– 為外部定時發(fā)生器生成 HD/VD 定時信號和現(xiàn)場 ID，或可與外部定時發(fā)生器同步

–支持逐行掃描（非隔行）和隔行掃描傳感器

– 支持高達 110-MHz 的傳感器時鐘。

– 支持 REC656/CCIR-656 標準（YCbCr 422 格式，8 位或 16 位）。

– 支持 YCbCr 422 格式，8 位或 16 位，帶離散 HSYNC 和 VSYNC 信號。

– 支持高達 16 位輸入。

因此，從圖像接入來說，TDA4VM/DRA829 MIPI-CSI2的每個接口有10Gbps 的帶寬，兩個MIPI-CSI2有20Gbps的帶寬，每個CSI2接口支持16個Virtual Channels，因此兩個CSI2接口可以支持多達32路攝像頭。 EVM可以方便展示多達8路2M攝像頭的接入。

Jacinto7 圖像處理

Jacinto7集成了視覺預(yù)處理加速器Vision Pre-processing Accelerator（VPAC）, 提供了常用的圖像處理功能，比如顏色處理和增強、噪聲過濾、寬動態(tài)（WDR）、鏡頭畸變矯正、圖像金字塔、圖像縮放等。 基于TI 超過20年在數(shù)百萬種產(chǎn)品中部署的多個Soc系統(tǒng)，TI發(fā)布了最新一代的成像系統(tǒng)，即德州儀器第七代ISP，并被集成在了Jacinto7 TDA4VM和DRA829處理器。

如圖2 VPAC系統(tǒng)框圖所示，由以下主要模塊組成：

視頻成像子系統(tǒng) （VISS）

鏡頭畸變校正 （LDC）

雙線性噪聲濾波器 （BNF）

多尺度 （MSC）

圖2 ： TI Jacinto7 VPAC 系統(tǒng)框圖

VISS（Video Imaging Subsystem）模塊主要處理RAW數(shù)據(jù)并輸出RGB或YUV圖像。 其包含RAW FE（Raw Front End）、NFS（Noise Filter）、GLBCE（Global and Local Brightness Contrast Enhancement）、FCP(Flex Color Processing)等模塊。

LDC（Lens Distortion Correction）主要對圖像進行畸變矯正。

MSC（Multi-Scalar）主要功能是對圖像進行縮放。

BNF（Bilateral Noise Filtering）雙邊濾波去除噪聲。

TDA4VM的VPAC的處理能力是720MP/s，因此理論上可以對24M RAW攝像頭的數(shù)據(jù)進行處理。

杰辛托7 用例

Jacinto7 的用戶經(jīng)常會問TDA4VM/DRA829能夠接幾個攝像頭，有幾個ISP，ISP能夠處理幾路攝像頭的問題。 通常我們經(jīng)常使用MIPI-CSI2接收圖像，使用VPAC里面VISS對RAW圖像進行處理。 TDA4VM/DRA829處理器有兩個CSI-2接口，一個ISP， ISP可以分時處理多路圖像， 其吞吐量如下表所示：

PSDKRA 多攝像頭用例 1

Jacinto7 SDK支持Multi Camera Use Case，其系統(tǒng)框圖如圖3所示，該Demo同時可以接入8個2MP@30FPS攝像頭，攝像頭先通過FPD LINK串化器UB953，然后通過同軸接入FPD LINK解串器UB960，最后通過TDA4VM MIPI-CSI2接口接入TDA4VM進行圖像處理。

該Demo可以在EVM快速搭建，需要TDA4VM EVM、Fusion Board（攝像頭接口板）和8個AR0233或IMAX390攝像頭。

圖3：TDA4VM多攝像頭用例1

該Use Case的利用率如下8*2MP@30FPS（RAW12）：

PSDKRA 多攝像頭用例 2

當前的ADAS應(yīng)用中，有4個2MP@30FPS攝像頭實現(xiàn)全景，1個8MP@30FPS實現(xiàn)前視，另外一個攝像頭完成DMS或后視功能。 一個前視攝像頭其系統(tǒng)框圖如圖4所示：

1 8MPpixel@30fps RAW12 前置攝像頭

1 * 1MPpixel@60fps RAW12后置/ DMS攝像頭

4 2MPpixel@30fps RAW12 環(huán)視 （SRV） 攝像頭

圖4：TDA4VM多攝像頭用例2

該Use Case的利用率如下：

PSDKRA 多攝像頭用例 3

在Jacinto7里面如果超過8個攝像頭應(yīng)該怎么接呢？ 假如依舊使用TDA4VM CSI2的兩個接口，如果是9個或9個以上的攝像頭，需要如何接呢？ FPD LINK有Cascading的功能，如下方案采用FPD LINK Cascading的功能，其系統(tǒng)框圖如圖6所示：

圖6 ： TDA4VM多攝像頭用例3-2

總結(jié)

攝像頭的接入和處理能力對用戶方案至關(guān)重要，因此，本文對Jacinto7 TDA4VM/DRA829處理的攝像頭接入和處理能力進行了概述，并使用實際的Use Case 介紹了攝像頭的接入和處理方案，用戶可以根據(jù)實際應(yīng)用需求對文中的方案進行修改。 對于其它的Jacinto7的處理器，比如TDA4VL、TDA4AL、TDA4VMECO、TDA4VH、TDA4AH等處理器，本文也同樣適用，需要注意的是不同處理器的CSI和VPAC帶寬的不同，性能有所差異，因此需要根據(jù)帶寬進行換算。