目錄

• 工業(yè)缺陷檢測(cè)場(chǎng)景簡(jiǎn)介
• 工業(yè)缺陷檢測(cè)場(chǎng)景的特點(diǎn)
• 工業(yè)缺陷檢測(cè)場(chǎng)景的需求
• 工業(yè)缺陷檢測(cè)場(chǎng)景的流程圖
• 工業(yè)缺陷檢測(cè)常用的深度學(xué)習(xí)算法
• 缺陷檢測(cè)需要的工具

工業(yè)缺陷檢測(cè)場(chǎng)景簡(jiǎn)介

在工業(yè)生產(chǎn)過(guò)程中，由于現(xiàn)有技術(shù)、工作條件等因素的不足和局限性，極易影響制成品的質(zhì)量。其中，表面缺陷是產(chǎn)品質(zhì)量受到影響的最直觀表現(xiàn)。因此，為了保證合格率和可靠的質(zhì)量，必須進(jìn)行產(chǎn)品表面缺陷檢測(cè)。

“缺陷”一般可以理解為與正常樣品相比的缺失、缺陷或面積。表面缺陷檢測(cè)是指檢測(cè)樣品表面的劃痕、缺陷、異物遮擋、顏色污染、孔洞等缺陷，從而獲得被測(cè)樣品表面缺陷的類別、輪廓、位置、大小等一系列相關(guān)信息。人工缺陷檢測(cè)曾經(jīng)是主流方法，但這種方法效率低下；檢測(cè)結(jié)果容易受人為主觀因素的影響，不能滿足實(shí)時(shí)檢測(cè)的要求。它已逐漸被其他方法所取代。

工業(yè)缺陷檢測(cè)場(chǎng)景的特點(diǎn)

自然場(chǎng)景一般是強(qiáng)語(yǔ)義信息，缺陷檢測(cè)一般為弱語(yǔ)義信息。缺陷檢測(cè)不需要特別大的感受野，一般為紋路上的缺陷，局部區(qū)域就可以判別。工業(yè)場(chǎng)景有以下幾個(gè)特點(diǎn)：

• 業(yè)務(wù)場(chǎng)景過(guò)于分散：缺陷檢測(cè)場(chǎng)景還是非常分散的，難以歸納。
• 受限、可控：有比較大的人工干預(yù)空間。例如可以利用一些光學(xué)、機(jī)械結(jié)構(gòu)等設(shè)計(jì)降低場(chǎng)景的復(fù)雜，使得我們面臨的場(chǎng)景更加純粹。
• 一般面臨的目標(biāo)比較微弱：這個(gè)與目標(biāo)缺陷的形態(tài)、顏色等有關(guān)。有時(shí)還會(huì)有一些例如黑色紋理上的黑色缺陷，強(qiáng)烈吃視角的缺陷等；
• 需求不太明確：很多時(shí)候做不到非黑即白的“一刀切。其實(shí)仔細(xì)思考，并不是客戶給不出明確的需求，而是場(chǎng)景和數(shù)據(jù)本身的固有屬性，需求在執(zhí)行的時(shí)候很難做到一致性。
• 精度指標(biāo)要求比較高：動(dòng)輒 100% 還是比較夸張的。一般 1 個(gè)點(diǎn)的漏撿，2 到 3 個(gè)點(diǎn)的誤檢算是比較理想的結(jié)果了。

工業(yè)缺陷檢測(cè)場(chǎng)景的需求

根據(jù)工業(yè)缺陷檢測(cè)場(chǎng)景的固有屬性。針對(duì)該場(chǎng)景，主要有以下幾點(diǎn)需求：

• 需求一：能夠正確判別出 NG（Not Good） 和 OK，本質(zhì)是一個(gè)分類任務(wù)：這個(gè)是最基礎(chǔ)的任務(wù)，可以認(rèn)為是二分類任務(wù)；
• 需求二：定位缺陷的位置和缺陷的類別，本質(zhì)是一個(gè)目標(biāo)檢測(cè)的任務(wù): 用矩形框粗略地標(biāo)記出缺陷的位置，并判別出每個(gè)缺陷所屬的細(xì)分類別，方便歸因分析、指標(biāo)統(tǒng)計(jì)、設(shè)備升級(jí)、維修等；
• 需求三：定位缺陷的精確位置和每一個(gè)缺陷的類別，本質(zhì)是稠密預(yù)測(cè)，屬于圖像分割任務(wù)：能夠精確得到缺陷的輪廓，需要產(chǎn)出缺陷的熱力圖；一般對(duì)應(yīng)的上層任務(wù)有缺陷分級(jí)、需求定制或變更。

• 需求四：只有大量的正常樣本，設(shè)計(jì)算法進(jìn)行缺陷檢測(cè)，本質(zhì)是無(wú)監(jiān)督學(xué)習(xí)算法：只提供一些正常樣本，希望模型在僅有的正常樣本上訓(xùn)練后，能夠檢測(cè)出實(shí)際生產(chǎn)環(huán)境中異常缺陷的樣本。

工業(yè)缺陷檢測(cè)場(chǎng)景的流程圖

工業(yè)缺陷檢測(cè)整個(gè)流程如下圖所示，一共經(jīng)過(guò)7個(gè)階段，分別是：明確需求階段、打光階段、數(shù)據(jù)階段、算法設(shè)計(jì)階段、部署階段、運(yùn)維階段。

工業(yè)缺陷檢測(cè)常用的深度學(xué)習(xí)算法

我們能用到的深度學(xué)習(xí)算法很多，有分類、檢測(cè)、分割系列，例如分類算法中的細(xì)粒度分類，可以更加精準(zhǔn)的提取微弱的特征，細(xì)粒度算法一般會(huì)用到打亂和注意力機(jī)制，對(duì)紋理上的缺陷識(shí)別會(huì)更優(yōu)一點(diǎn)。

另外，應(yīng)用語(yǔ)義分割任務(wù)做缺陷檢測(cè)，其實(shí)缺陷檢測(cè)并不局限語(yǔ)義分割，它更像提取一張高斯熱圖，有缺陷的地方概率高，背景區(qū)域概率低。因此有一些熱圖回歸的做法也可以應(yīng)用。

除了監(jiān)督學(xué)習(xí)算法，在應(yīng)對(duì)缺少缺陷樣本的場(chǎng)景中，我們還可以選擇無(wú)監(jiān)督學(xué)習(xí)方案。

深度學(xué)習(xí)的快速發(fā)展使其在缺陷檢測(cè)領(lǐng)域得到越來(lái)越廣泛的應(yīng)用，具體的缺陷檢測(cè)方法如圖所示。

監(jiān)督方法

監(jiān)督方法要求訓(xùn)練集和測(cè)試集缺一不可，訓(xùn)練集中的樣本必須被標(biāo)記，其中訓(xùn)練集用于尋找樣本的內(nèi)在規(guī)律，然后將規(guī)律應(yīng)用到測(cè)試集。

在上述有監(jiān)督的表面缺陷檢測(cè)方法中，基于表征學(xué)習(xí)的方法大致可以分為三類：分類網(wǎng)絡(luò)、檢測(cè)網(wǎng)絡(luò)和分割網(wǎng)絡(luò)。其中，常用的分類網(wǎng)絡(luò)是 Resnet、ShuffleNet；通常用作檢測(cè)網(wǎng)絡(luò)的是 Faster RCNN、YOLO；常用的分割網(wǎng)絡(luò)有：FCN、Mask RCNN 等。

在缺陷檢測(cè)的任務(wù)中，分類網(wǎng)絡(luò)的重點(diǎn)是解決“缺陷是什么”問(wèn)題，即確定圖像的類型（圖像是否包含缺陷，缺陷的類型是什么）；檢測(cè)網(wǎng)絡(luò)的重點(diǎn)是解決“缺陷在哪里”的問(wèn)題，即獲取具體的位置信息和通過(guò)確定缺陷的位置來(lái)確定缺陷的類別信息；分割網(wǎng)絡(luò)的焦點(diǎn)是為了解決“有多少缺陷”的問(wèn)題，即分割從背景中修正缺陷區(qū)域，獲取位置、類別、屬性和缺陷的其他信息。

• ShuffleNet ShuffleNet 是一種計(jì)算效率高的輕量級(jí)網(wǎng)絡(luò)，它采用了逐點(diǎn)組卷積和通道 shuffle 兩種新方法來(lái)保證計(jì)算精度并有效降低計(jì)算成本

• Faster RCNN Faster RCNN 是在 Fast RCNN 的基礎(chǔ)上引入了區(qū)域提議網(wǎng)絡(luò)（RPN），將生成區(qū)域推薦的步驟放入神經(jīng)網(wǎng)絡(luò)中，在端到端的學(xué)習(xí)模式下實(shí)現(xiàn)了幾乎無(wú)成本的區(qū)域推薦算法，極大地提高了目標(biāo)檢測(cè)的速度，還提到了滑動(dòng)窗口方法。

• 全卷積網(wǎng)絡(luò) 在 FCN 中，一種端到端的圖像分割方法，網(wǎng)絡(luò)中的所有層都是卷積層；網(wǎng)絡(luò)主要使用三種技術(shù)：卷積、上采樣和跳過(guò)層；可以通過(guò)讓網(wǎng)絡(luò)做像素級(jí)預(yù)測(cè)直接得到標(biāo)簽圖。核心思想之一是反卷積層，增加了數(shù)據(jù)規(guī)模，從而可以輸出準(zhǔn)確的結(jié)果。

• Mask RCNN Mask RCNN 是 Faster RCNN 的一種擴(kuò)展形式，它為兩階段框架網(wǎng)絡(luò)集成了目標(biāo)檢測(cè)和實(shí)例分割功能：第一階段掃描圖像并生成候選框（建議框可能包含目標(biāo)區(qū)域），第二階段分類候選框并生成邊界框和掩碼。

• YOLO YOLO （You Only Look Once）是一種單級(jí)目標(biāo)檢測(cè)器，用于實(shí)現(xiàn)兩個(gè)目標(biāo)（即速度和準(zhǔn)確性）。它將對(duì)象檢測(cè)定義為一個(gè)回歸問(wèn)題，圖像輸入卷積神經(jīng)網(wǎng)絡(luò)，并預(yù)測(cè)每個(gè)網(wǎng)格的類概率和邊界框。

無(wú)監(jiān)督方法

• Autoencoder 編碼器和解碼器是自編碼器的兩個(gè)核心部分。其中，encoder 對(duì)應(yīng)網(wǎng)絡(luò)模型中的隱藏層，用于學(xué)習(xí)輸入信號(hào)的低維特征；解碼器對(duì)應(yīng)模型中的輸出層，用于盡可能地再現(xiàn)輸入信號(hào)。因此，使編碼器能夠?qū)W習(xí)輸入信號(hào)良好的低維特征并重構(gòu)輸入信號(hào)是自編碼器的最終目標(biāo)。

• 生成對(duì)抗網(wǎng)絡(luò) 生成對(duì)抗網(wǎng)絡(luò)由兩個(gè)參與者組成：生成器和鑒別器。生成器用于獲取樣本數(shù)據(jù)的分布，鑒別器用于估計(jì)樣本訓(xùn)練數(shù)據(jù)的概率。該模型的最終目標(biāo)是學(xué)習(xí)真實(shí)數(shù)據(jù)的內(nèi)在規(guī)律，預(yù)測(cè)和估計(jì)真實(shí)數(shù)據(jù)的分布或密度，并根據(jù)學(xué)到的知識(shí)生成新的數(shù)據(jù)，即生成對(duì)抗網(wǎng)絡(luò)制造數(shù)據(jù)。

• 深度信念網(wǎng)絡(luò) 深度信念網(wǎng)絡(luò)由多個(gè)RBM（受限玻爾茲曼機(jī)）組成，整個(gè)網(wǎng)絡(luò)的訓(xùn)練是通過(guò)逐層單獨(dú)訓(xùn)練 RBM 來(lái)完成的。

缺陷檢測(cè)需要的工具

缺陷檢測(cè)落地需要非常多的工具支撐：

• 圖像采集：相機(jī)、運(yùn)動(dòng)設(shè)備、光學(xué)控制；
• 數(shù)據(jù)托管：服務(wù)器、數(shù)據(jù)庫(kù)、版本管理、數(shù)據(jù)積累；
• 數(shù)據(jù)處理：圖像分析、定位、裁剪；
• 數(shù)據(jù)標(biāo)注：適配各種任務(wù)、半自動(dòng)標(biāo)注；
• 數(shù)據(jù)清洗：半自動(dòng)、交叉驗(yàn)證、一致性分析；
• 缺陷生成：傳統(tǒng)方法、融合、GAN；
• 訓(xùn)練框架：分類、分割、檢測(cè)、熱圖回歸等；
• 測(cè)試框架：多模型測(cè)試、指標(biāo)統(tǒng)計(jì)、可視化；
• 部署平臺(tái)：模型融合、模型加速、平臺(tái)移植；
• 前端框架：GUI、數(shù)據(jù)持續(xù)收集、用戶體驗(yàn)。

審核編輯 ：李倩