本篇文章節選自安森美半導體原創文章《安森美半導體領先的智能感知技術和方案應對工業人工智能應用挑戰》。本篇文章是此次系列文章的第二篇，完整文章共兩篇~

如果您還未閱讀本系列第一篇文章，點擊下方鏈接即可閱讀~ 領先的智能感知技術和方案應對工業人工智能應用挑戰 第一篇

市場對高分辨率的需求不斷增長

越來越多的應用對分辨率有了很高的需求，例如手機/電視/電腦顯示器的LCD、OLED屏幕檢測。在這檢測應用中，使用相機檢測顯示器的輸出，以查找顯示亮度的均勻性、顏色準確性、線條缺陷、顆粒缺陷等。這就要求檢測相機提供非常高的圖像質量和高度均勻性，以確保相機中的質量問題不會被誤解為顯示器中的產品缺陷。 顯示屏實際上都由紅綠藍等多個LED子像素組成，檢測系統需要能夠解析所有這些子像素，以便正確成像和顯示并確認設備的質量，為提高檢測的精度和可靠性，行業中通常會使用圖像傳感器靶面的3x3，或者4x4, 甚至5x5個像元來識別顯示屏設備的一個LED子像素，這就需要用到更多的傳感器像元個數，并且隨著顯示器分辨率的不斷提高-從傳統高清到4k到8k甚至更高，檢測相機所需的分辨率也在不斷提高，才不會犧牲應用所需的高圖像質量和均勻性，為AI算法的精度提供更可靠的數據支持。 又如另一個常見的工業成像應用是印刷電路板檢測，以確認電路板組件上的集成元器件、電容器、電阻器等已正確安裝并焊接到位。電路板的檢測速度是受圖像分辨率和幀率的組合影響，圖像中能夠捕獲的電路板尺寸面積越大，一次可以檢測的電路板就越多，圖像能捕獲的越快，檢測的效率就越高。

雖然當前市場上提供的圖像傳感器可以每秒輸出約500或1400個像素的數據，但是安森美半導體的XGS 45000可以以接近1900個像素/秒的速度捕獲更多的圖像數據用于算法判斷，比競爭對手快3倍以上，圖像數據寬度可以達8000個像素。高分辨率和高帶寬的結合使這種檢測應用的AI算法可以更快，更有效地執行，從而提高了制造過程的生產率。

圖2：XGS 45000的演示效果

再如用于監控或廣播的影像應用，圖像需求結合了上述性能，該應用對圖像質量的要求非常高，市場對分辨率的需求也不斷增長，從高清到4K到現在的8k，高分辨率提供了更強大的圖像結構和細節可以看到寬視野的能力，還提供了用于AI分類的裁剪開窗的選項，來放大感興趣的內容。 安森美半導體的XGS 45000圖像傳感器實際上具有比8k視頻所需的分辨率更高，不僅可以使用少量裁切來提供8k視頻，還由于XGS 45000具有很高的帶寬，它可以60幀每秒的速度提供8k視頻以及完整的12位輸出，滿足了該應用所需的高分辨率、高帶寬和高圖像質量。

值得一提的是，安森美半導體也提供完整的參考設計X-Cube，基于X-class圖像傳感器系列， 在1.1英寸光學格式提供1600萬像素分辨率，提供用于機器視覺和ITS的 29 mm x 29 mm工業相機占位所需的成像細節和性能，且一個攝像機可支持多種分辨率，幫助設計人員加快開發。

圖3：高分辨率X-Cube 系統用于29 mm x 29 mm 相機設計

從僅捕獲RGB信息和X,Y二維信息到添加深度信息或多光譜區域信息

除了圖像傳感器的性能提升，另外更為豐富的成像信息的集成也可以增強人工智能的性能，逐漸成為工業客戶做出明智決策的關鍵。 通過對多種模式和AI處理的投資，也使得安森美半導體具備獨特的優勢，從僅提供三種紅綠藍(RGB)組成的成像系統發展到添加詳細的光譜特征，這樣可以在檢測中看到RGB無法識別的地方。使用12比特位的圖像數據，可以提高識別圖像的精度，從僅提供x、y二維定位信息到使用結合了深度像元技術或毫米波雷達、激光雷達技術和圖像融合后帶來深度信息，可更深入地了解檢測對象的全部體積大小高度等的信息，也就是深度學習。 所以現在圖像傳感器的開發正在從僅捕獲RGB信息轉移到新的形式，增強的數據集提供的信息將不僅僅是顏色和二維位置。圖像傳感器的廠家都在開發新技術以獲取更可靠的深度信息或者多光譜區域信息。 比如開發通過融合內部不同數據流的Super Depth像元技術，開發通過有規律的結構，調制入射光振幅或相位的衍射光柵技術，開發基于單光子雪崩二極管(SPAD)和硅光電倍增管(SiPM)的傳感器等方式來實現為圖像提供更多的深度信息。 或者開發基于等離子體波導濾波片，或以法布里-珀羅（F-P)結構原理為基礎的多通道分光濾光片制造技術實現在更多的光譜區域成像的超多光譜技術。

神經網絡處理

隨著人工智能的發展，分類系統設計需要功能強大的圖像處理單元(GPU)或張量處理單元(TPU)神經網絡處理器，因為訓練和推理都需要大量計算，人工智能界正在面臨前所未有的算力挑戰，網絡拓撲需要數億個乘法和加法邏輯計算（MAC），需要數百萬個卷積神經網絡參數，就比如能實現分類/目標檢測/語義分割等多目標任務的MobileNetV2結構就具有3億個MAC計算和420萬個參數，但這相對于ResNet微結構，已經是減少了9倍的計算量。 訓練過程由于涉及海量的大數據和復雜的深度神經網絡結構，需要的計算規模非常龐大，通常需要GPU或云去完成，推斷部署環節的計算量相比訓練環節會少一些，但仍然涉及大量的矩陣運算，通常在邊緣的高功率GPU / TPU上執行以實現低延遲。面對深度學習的訓練和推斷的算力需求，市場上大部分使用的是NVIDIA的GPU或google的TPU來實現。

AI的發展

要真正實現快速決策，AI也需要發展。如今，用于成像的AI決策已從云過渡到邊緣再遷移到與成像系統本身。 比如把AI的訓練環節保留在GPU或云端，利用堆棧工藝可以將決策或甚至與之相關的一些預處理集成到圖像傳感器上，比如在傳感器上集成用于圖像識別的底層或者輕算力的卷積神經網絡層，集成具有內存的數字矩陣乘法計算單元體系結構。這些AI功能集成在圖像傳感器中都將會實現，也已經有公司發布了內置人工智能引擎的圖像傳感器芯片。

如安森美半導體的融合了AI的水果新鮮度分類系統的演示，整個ECOsystem是基于安森美半導體的AR1335的相機和NVIDIA Xavier edge GPU, 使用了TensorRT版本的MobileNetV2結構來處理分類新鮮和腐爛的蘋果、橘子、香蕉等6類多達上萬個CNN訓練參數，可以識別三種水果及其新鮮度，這個系統的準確率達到97%以上。

圖4：AI用于機器視覺，識別水果新鮮度

總結

圖像傳感器的開發正在從僅提供RGB和二維坐標信息轉移到新的更豐富的形式。圖像傳感器可提供更多類型的數據，無論是深度數據還是增加的光譜信息，以及AI合并這些數據集并實現高級決策，從而使系統能夠通過新的測量和決策機會提供更快、更準確的結果。安森美半導體是工業機器視覺的領袖之一，以全方位的智能感知產品陣容和領先的技術，應對工業AI應用挑戰并推進智能制造的創新。