摘要：

制造業(yè)的全面智能化發(fā)展對工業(yè)產(chǎn)品的質(zhì)量檢測提出了新的要求。本文總結(jié)了機器學(xué)習(xí)方法在表面缺陷檢測中的研究現(xiàn)狀，表面缺陷檢測是工業(yè)產(chǎn)品質(zhì)量檢測的關(guān)鍵部分。首先，根據(jù)表面特征的用途，從紋理特征、顏色特征、形狀特征三個方面總結(jié)了傳統(tǒng)機器視覺表面缺陷檢測方法在工業(yè)產(chǎn)品表面缺陷檢測中的應(yīng)用。其次，從監(jiān)督法、無監(jiān)督法、弱監(jiān)督法三個方面論述了近年來基于深度學(xué)習(xí)技術(shù)的工業(yè)產(chǎn)品表面缺陷檢測的研究現(xiàn)狀。然后，系統(tǒng)總結(jié)了工業(yè)表面缺陷檢測中常見的關(guān)鍵問題及其解決方法；關(guān)鍵問題包括實時問題、小樣本問題、小目標(biāo)問題、不平衡樣本問題。最后對近年來常用的工業(yè)表面缺陷數(shù)據(jù)集進行比較全面的總結(jié)，并比較了MVTec AD數(shù)據(jù)集的最新研究方法，為工業(yè)表面缺陷檢測技術(shù)的進一步研究和發(fā)展提供一定的參考。

1. 簡介

在工業(yè)生產(chǎn)過程中，由于現(xiàn)有技術(shù)、工作條件等因素的不足和局限性，極易影響制成品的質(zhì)量。其中，表面缺陷是產(chǎn)品質(zhì)量受到影響的最直觀表現(xiàn)。因此，為了保證合格率和可靠的質(zhì)量，必須進行產(chǎn)品表面缺陷檢測。“缺陷”一般可以理解為與正常樣品相比的缺失、缺陷或面積。工業(yè)產(chǎn)品正常樣品與缺陷樣品對比如圖1所示。表面缺陷檢測是指檢測樣品表面的劃痕、缺陷、異物遮擋、顏色污染、孔洞等缺陷，從而獲得被測樣品表面缺陷的類別、輪廓、位置、大小等一系列相關(guān)信息。人工缺陷檢測曾經(jīng)是主流方法，但這種方法效率低下；檢測結(jié)果容易受人為主觀因素的影響，不能滿足實時檢測的要求。它已逐漸被其他方法所取代。

目前，已有學(xué)者開展了表面缺陷檢測的相關(guān)研究，涉及最新的方法、應(yīng)用、關(guān)鍵問題等諸多方面，文獻[5]總結(jié)了磁粉探傷、滲透探傷、渦流檢測、超聲波檢測、機器視覺和深度學(xué)習(xí) [6,7]；比較分析上述方法的優(yōu)缺點；梳理了電子元器件、管道、焊接件、機械零件中的缺陷檢測技術(shù)，以及在質(zhì)量控制中的典型應(yīng)用。從監(jiān)督學(xué)習(xí)模型法、無監(jiān)督學(xué)習(xí)模型法[8]和其他方法[9]（半監(jiān)督學(xué)習(xí)模型法和弱監(jiān)督學(xué)習(xí)模型法），文獻[10]分析了基于深度學(xué)習(xí)的表面缺陷檢測方法，以及然后，討論了表面缺陷檢測中實時性、小樣本以及與傳統(tǒng)的基于圖像處理的缺陷檢測方法的比較三個關(guān)鍵問題。在回顧了自動光學(xué)（視覺）檢測（AOI）技術(shù)后，文獻[11]系統(tǒng)地描述了該技術(shù)用于表面缺陷檢測的幾個步驟和相關(guān)方法。文獻[12]首先列舉了缺陷領(lǐng)域的不同對象；介紹和比較了用于缺陷檢測的主流技術(shù)和深度學(xué)習(xí)方法。然后分析了超聲波檢測和深度學(xué)習(xí)方法在缺陷檢測中的應(yīng)用。最后，對現(xiàn)有應(yīng)用進行了調(diào)查，并基于缺陷檢測設(shè)備，提出了三維目標(biāo)檢測、高精度、高定位、快速檢測、小目標(biāo)等缺陷檢測面臨的幾個挑戰(zhàn)。通過調(diào)查可以發(fā)現(xiàn)：在工業(yè)產(chǎn)品表面缺陷檢測領(lǐng)域，目前關(guān)于機器學(xué)習(xí)方法的文獻綜述很少，一些文獻雖然總結(jié)了工業(yè)產(chǎn)品表面缺陷檢測中存在的問題和挑戰(zhàn)，但其解決方案和方向還不夠系統(tǒng)。此外，在數(shù)據(jù)集方面，目前還沒有對工業(yè)產(chǎn)品表面缺陷檢測數(shù)據(jù)集進行全面整理。因此，為了解決上述問題，本文首先從傳統(tǒng)的機器視覺方法和深度學(xué)習(xí)方法總結(jié)了工業(yè)產(chǎn)品表面缺陷檢測的研究現(xiàn)狀，然后，工業(yè)產(chǎn)品表面缺陷檢測過程中的關(guān)鍵問題，真實討論了時間問題、小樣本問題、小目標(biāo)問題、不平衡樣本問題，并給出了每個問題的一些解決方案。最后，總結(jié)了全面的工業(yè)表面缺陷檢測數(shù)據(jù)集，并比較了幾種使用 MVTec AD 數(shù)據(jù)集的新方法。

本綜述參考文獻的發(fā)表時間主要集中在2016年以后，因為這些文獻可以代表最新技術(shù)的發(fā)展。通過參考相關(guān)評論，確定本文的組織順序為傳統(tǒng)方法、最新方法、關(guān)鍵問題和工具（數(shù)據(jù)集），這也是本文的研究范圍。本文的主要內(nèi)容如下：第二部分，基于傳統(tǒng)基于特征的機器視覺算法的工業(yè)產(chǎn)品表面缺陷檢測方法總結(jié)；第三節(jié)，基于深度學(xué)習(xí)的工業(yè)產(chǎn)品表面缺陷檢測方法總結(jié)；第四節(jié)，關(guān)鍵問題及其解決方案分析討論；第五節(jié)，工業(yè)產(chǎn)品表面缺陷檢測數(shù)據(jù)集的整理和總結(jié)以及MVTec AD數(shù)據(jù)集最新方法的比較。

2. 用于表面缺陷檢測的傳統(tǒng)基于特征的機器視覺算法

傳統(tǒng)的表面缺陷檢測方法在一段時間內(nèi)發(fā)揮了巨大的作用。本章從特征提取層面對傳統(tǒng)的基于機器視覺的工業(yè)產(chǎn)品表面缺陷檢測方法進行分類。根據(jù)特征的不同，主要分為三類：基于紋理特征的方法、基于顏色特征的方法、基于形狀特征的方法。具體的進一步章節(jié)安排如圖2所示。

2.1. 基于紋理特征的方法

紋理特征反映了圖像中的同質(zhì)化現(xiàn)象，可以通過像素及其附近空間鄰域的灰度分布來反映圖像表面的組織結(jié)構(gòu)和排列特性。基于紋理特征的方法可以進一步分為四類：統(tǒng)計方法、信號處理方法、結(jié)構(gòu)方法、模型方法[14,15]。

對于統(tǒng)計方法，主要思想是將物體表面的灰度值分布視為隨機分布，從角度分析隨機變量的分布 通過直方圖特征、灰度共生矩陣、局部二值模式、自相關(guān)函數(shù)、數(shù)學(xué)形態(tài)等特征描述灰度值的空間分布。

對于信號處理方法，主要思想是將圖像作為二維信號處理，從信號濾波器設(shè)計的角度對圖像進行分析，因此也稱為頻譜法；信號處理方法包括傅里葉變換法、Gabor濾波器法、小波變換法等具體方法。

對于結(jié)構(gòu)方法，其理論基礎(chǔ)是紋理原語理論。紋理原語理論指出，紋理是由一些按照一定規(guī)則在空間中重復(fù)出現(xiàn)的最小圖案（稱為紋理原語）組成的。

對于模型方法，工業(yè)產(chǎn)品表面缺陷檢測常用的模型有MRF模型和分形模型。

對于基于紋理特征的方法，本文總結(jié)了近期在工業(yè)產(chǎn)品表面缺陷檢測中的一些應(yīng)用實例，按圖2中的分類順序排列，具體如表1所示。

2.2.基于顏色特征的方法

顏色特征計算量小，對圖像本身的大小、方向、視角等因素的依賴性小，魯棒性高。它是圖像檢索中廣泛使用的視覺特征之一。

2.2.1.顏色直方圖

顏色直方圖描述了整個圖像中不同顏色的比例，是全局統(tǒng)計的結(jié)果；它不注意空間位置顏色，不能描述圖像中的物體。

特點：對物理變換（旋轉(zhuǎn)、縮放等）不敏感；如果圖像有多個區(qū)域，且前景和背景之間的顏色分布有明顯差異，則顏色直方圖會出現(xiàn)雙峰。

文獻[27]提出了一種基于顏色直方圖的相似度評價方法，用于電阻斷層掃描（ERT）圖像評價。對于木材表面的缺陷檢測，文獻[28]提出了一種基于圖像塊百分比顏色直方圖特征和特征向量紋理特征的分類方法；該方法已被實驗證明是有效的，特別是對于結(jié)型缺陷。文獻[29]設(shè)計了刨花板缺陷檢測的2步工藝流程，利用SVM和顏色直方圖特征完成缺陷檢測，利用平滑和閾值技術(shù)完成缺陷定位。

2.2.2.色彩時刻

顏色矩的主要思想是圖像中的任何顏色分布都可以用其每個階的矩來表示。由于顏色分布的信息主要集中在低階矩，通常只有顏色的一階矩（均值）、二階矩（方差）和三階矩（偏移）就足以表示圖像表面的顏色分布。

特點：不考慮像素空間位置；無需矢量化顏色特征；無需進行顏色量化、平滑等后續(xù)處理。

文獻[30]提出了一種根據(jù)影響大小對色矩特征和FSIFT特征進行加權(quán)融合的方法，解決了單個特征不能明顯表達瓷磚表面缺陷內(nèi)容的問題。文獻[31]利用余弦相似度檢驗磁光圖像的周期規(guī)律，證明了色矩特征概括規(guī)律的正確性，從而選擇合適的磁光圖像進行焊接缺陷檢測和定位。

2.2.3.顏色相干矢量

顏色相干向量是顏色直方圖的改進算法；其主要思想是將直方圖中的每個顏色簇分為聚合和非聚合兩部分；在圖像相似度比較過程中，分別比較相似度，綜合權(quán)衡后得到相似值，從而得到結(jié)果。

文獻[32]將LBP特征與顏色聚合向量特征加權(quán)融合相結(jié)合，并結(jié)合基于RBF的SVM，提出了一種圖像分類方法可以提高分類精度和計算速度的方法。文獻[33]將提取的顏色聚合向量和紋理特征以特征的形式存儲用于后續(xù)網(wǎng)絡(luò)訓(xùn)練的向量。

2.2.4.其他顏色特征

除了顏色直方圖、顏色矩和顏色聚合向量外，工業(yè)產(chǎn)品表面缺陷檢測常用的顏色特征包括顏色集和顏色相關(guān)圖。其中，顏色集也是一種全局顏色特征和匹配方法；它是顏色直方圖的近似，表示為二值特征向量；通過構(gòu)造二叉搜索樹，可以加快檢索速度。顏色相關(guān)圖描述了整個圖像中某種顏色的像素數(shù)所占的比例（概率），可以反映不同顏色對之間的空間相關(guān)性；通常，它需要較高的硬件條件。

2.3.基于形狀特征的方法

基于形狀的方法有效地利用圖像中感興趣的目標(biāo)進行檢索。其中，基于輪廓的方法是主要的方法類型。基于輪廓的方法通過描述對象的外邊界特征來獲得圖像的形狀參數(shù)；代表性的方法是霍夫變換和傅立葉形狀描述符。

霍夫變換利用圖像的全局特征連接邊緣像素形成區(qū)域的封閉邊界，其理論基礎(chǔ)是點對線的對偶性。文獻[34]提出了一種檢測瓶子表面缺陷的方法；在ROI提取階段，采用快速霍夫變換檢測光源的邊界線。文獻[35]利用Gabor濾波器和Hough變換實現(xiàn)了E-TPU中間表面線狀缺陷（如壓痕、凹凸）的檢測。文獻[36]基于圓霍夫變換、極坐標(biāo)變換、加權(quán)Sobel濾波器和SVM實現(xiàn)了小型相機鏡頭的表面缺陷檢測。

傅里葉形狀描述符使用物體邊界的傅里葉變換作為形狀描述，利用區(qū)域邊界的閉合性和周期性，將二維問題轉(zhuǎn)化為一維問題。文獻[37]提出了一種基于全局傅里葉圖像重建和模板匹配的非周期圖像小缺陷檢測和定位方法。文獻[38]提出了一種磁體表面切割缺陷的檢測方法；該方法采用傅里葉變換和霍夫變換對磁體表面圖像進行重構(gòu)，通過比較重構(gòu)圖像與原始圖像的灰度差異，得到缺陷信息。

除上述三類特征外，其他一些特征，如空間關(guān)系特征，也可用于工業(yè)產(chǎn)品的表面缺陷檢測。由于工業(yè)產(chǎn)品的表面大多包含多種信息，通常僅使用單一特征或單一類別特征是不夠的。因此，在實際應(yīng)用中，往往會結(jié)合使用多個特征和多類特征。

3. 基于深度學(xué)習(xí)的工業(yè)產(chǎn)品表面缺陷檢測方法

深度學(xué)習(xí)的快速發(fā)展使其在缺陷檢測領(lǐng)域得到越來越廣泛的應(yīng)用。本章基于深度學(xué)習(xí)的常見分類：監(jiān)督方法、無監(jiān)督方法、弱監(jiān)督方法，簡要介紹了工業(yè)產(chǎn)品表面缺陷檢測的研究現(xiàn)狀。具體的缺陷檢測方法如圖3所示。

3.1.監(jiān)督方法

監(jiān)督方法要求訓(xùn)練集和測試集缺一不可，訓(xùn)練集中的樣本必須被標(biāo)記[39]，其中訓(xùn)練集用于尋找樣本的內(nèi)在規(guī)律，然后將規(guī)律應(yīng)用到測試集。監(jiān)督方法可以分為基于度量學(xué)習(xí)的監(jiān)督方法和基于表示學(xué)習(xí)的監(jiān)督方法。在上述有監(jiān)督的表面缺陷檢測方法中，基于度量學(xué)習(xí)的常見模型包括Siamese Network；根據(jù)缺陷檢測的三個階段，基于表征學(xué)習(xí)的方法大致可以分為三類：分類網(wǎng)絡(luò)、檢測網(wǎng)絡(luò)和分割網(wǎng)絡(luò)。其中，常用的分類網(wǎng)絡(luò)是ShuffleNet；通常用作檢測網(wǎng)絡(luò)的是 Faster RCNN；常用的分割網(wǎng)絡(luò)有：FCN、Mask RCNN等，本節(jié)以上述網(wǎng)絡(luò)模型為例，簡要介紹其在表面缺陷檢測任務(wù)中的研究現(xiàn)狀。在缺陷檢測的任務(wù)中，分類網(wǎng)絡(luò)的重點是解決“缺陷是什么”問題，即確定圖像的類型（圖像是否包含缺陷，缺陷的類型是什么）；檢測網(wǎng)絡(luò)的重點是解決“缺陷在哪里”的問題，即獲取具體的位置信息和通過確定缺陷的位置來確定缺陷的類別信息；分割網(wǎng)絡(luò)的焦點是為了解決“有多少缺陷”的問題，即分割從背景中修正缺陷區(qū)域，獲取位置、類別、屬性和缺陷的其他信息。

3.1.1. Siamese Network

Siamese網(wǎng)絡(luò)可以用來判斷兩個樣本之間的相似度；其損失函數(shù)的核心思想是使相似類別的輸入距離盡可能小，不同類別的輸入距離盡可能大[40]。

文獻[41]提出了一種兩階段多尺度特征相似度測量模型。在使用 Siamese 網(wǎng)絡(luò)作為主干架構(gòu)完成成對圖像的特征提取后，將空間金字塔池化網(wǎng)絡(luò)納入每個卷積模塊的特征圖中以融合多尺度特征向量，然后進行判別特征嵌入和通過在訓(xùn)練過程中使用對比損失獲得相似度度量。測試在PCB數(shù)據(jù)集上進行了短路、開路、鼠咬、毛刺、漏電、覆銅6類缺陷，所有類型的ROC曲線下面積均在0.92以上。文獻 [42] 提出了一種用于跨類別缺陷檢測的兩層神經(jīng)網(wǎng)絡(luò)（SSIM 層：生成模擬 SSIM 組件的功能；SNN 層：由連接到 SSIM 層的連體網(wǎng)絡(luò)組成），無需重新訓(xùn)練。該方法從包含一些結(jié)構(gòu)相似性的圖像對中學(xué)習(xí)差異特征，并假設(shè)不同的分類對象可以共享由這些學(xué)習(xí)圖像對的差異引起的一些結(jié)構(gòu)相似性。在實際工廠數(shù)據(jù)集中的實驗表明：該方法具有跨類缺陷檢測的能力。

3.1.2. ShuffleNet

ShuffleNet 是一種計算效率高的輕量級網(wǎng)絡(luò)，它采用了逐點組卷積和通道 shuffle 兩種新方法來保證計算精度并有效降低計算成本。

基于Shuffle Net V2框架，文獻[43]提出了一種新穎的塑料容器復(fù)雜背景代碼在線檢測解決方案，該算法還可以處理復(fù)雜背景下的圖像，并應(yīng)用于實際的工業(yè)檢測系統(tǒng)。文獻[44]提出了一種基于深度學(xué)習(xí)的Shuffle DefectNet缺陷檢測系統(tǒng)，在NEU數(shù)據(jù)集上達到了99.75%的平均準(zhǔn)確率

3.1.3. Faster RCNN

Faster RCNN是在Fast RCNN的基礎(chǔ)上引入了區(qū)域提議網(wǎng)絡(luò)（RPN），將生成區(qū)域推薦的步驟放入神經(jīng)網(wǎng)絡(luò)中，在端到端的學(xué)習(xí)模式下實現(xiàn)了幾乎無成本的區(qū)域推薦算法，極大地提高了 提高了目標(biāo)檢測的速度，還提到了滑動窗口方法。

文獻[45]提出了一種基于Faster R-CNN的級聯(lián)結(jié)構(gòu)，將電力線絕緣子的缺陷檢測問題轉(zhuǎn)化為兩級目標(biāo)檢測問題。其中，第一階段用于定位絕緣子區(qū)域；第二階段用于定位絕緣體區(qū)域。基于Faster R-CNN，文獻[46]提出了一種新的PCB表面缺陷檢測網(wǎng)絡(luò)，該網(wǎng)絡(luò)使用具有特征金字塔的ResNet50作為主干，同時使用GRAPN的殘差單元和ShuffleNetV2的殘差單元。

3.1.4.全卷積網(wǎng)絡(luò)

在 FCN 中，一種端到端的圖像分割方法，網(wǎng)絡(luò)中的所有層都是卷積層；網(wǎng)絡(luò)主要使用三種技術(shù)：卷積、上采樣和跳過層；可以通過讓網(wǎng)絡(luò)做像素級預(yù)測直接得到標(biāo)簽圖。核心思想之一是反卷積層，增加了數(shù)據(jù)規(guī)模，從而可以輸出準(zhǔn)確的結(jié)果。

文獻[47]提出了一種利用深度神經(jīng)網(wǎng)絡(luò)結(jié)合Autoencoder和FCN來區(qū)分鍵盤漏光缺陷和灰塵的算法。在由1632張圖像組成的測試集中對所提出的方法進行測試，漏光缺陷的誤報率從6.27%降低到2.37%。文獻[48]設(shè)計了一套完整的絕緣子串自動識別和診斷系統(tǒng)，該系統(tǒng)結(jié)合了不同的基于深度學(xué)習(xí)的組件，分別包括一個絕緣子串分割組件和兩個絕緣子片缺失和損壞診斷組件。文獻[49]提出了一種太陽能電池電致發(fā)光（EL）圖像的缺陷分割方法；該方法使用FCN和U-net的特定架構(gòu)，可以一步得到缺陷分割圖；與重復(fù)執(zhí)行CNN滑動窗口的方法相比，該方法獲得了相似的結(jié)果。文獻[50]結(jié)合FCN和Faster RCNN，設(shè)計了基于FCN的隧道缺陷檢測深度學(xué)習(xí)模型；該模型可以準(zhǔn)確快速地檢測管道的污漬、泄漏和堵塞等缺陷。

3.1.5. Mask RCNN

Mask RCNN 是 Faster-R-CNN 的一種擴展形式，它為兩階段框架網(wǎng)絡(luò)集成了目標(biāo)檢測和實例分割功能：第一階段掃描圖像并生成建議（建議可能包含目標(biāo)區(qū)域），第二階段分類 建議并生成邊界框和掩碼。

文獻[51]提出了Mask RCNN的改進模型——IPCNN。該模型首先使用深度殘差神經(jīng)網(wǎng)絡(luò)對來自圖像金字塔的圖像進行處理以提取特征；提取的特征通過特征金字塔生成金字塔特征，然后由RPN處理生成缺陷邊界框并對其進行分類，然后使用FCN在缺陷邊界框中生成缺陷掩碼。文獻[52]設(shè)計了一個端到端的系統(tǒng)，可以定位太陽能電池板污染；該系統(tǒng)基于Mask FCNN（Fully Convolutional Mask RCNN），它由一個分類網(wǎng)絡(luò)ImageNet和一個自底向上對特征圖像進行上采樣的綜合網(wǎng)絡(luò)組成；通過上采樣消除了信息丟失的影響。

在工業(yè)產(chǎn)品表面缺陷檢測領(lǐng)域，由于精度高、適應(yīng)性好，監(jiān)督法是目前深度學(xué)習(xí)方法中最主流的方法，其應(yīng)用范圍也越來越廣。但是，這種方法的缺點在實際應(yīng)用中逐漸凸顯，即數(shù)據(jù)集的提前標(biāo)注帶來的工作量巨大，尤其是在一些高精度場景下；同時，產(chǎn)業(yè)水平的不斷提升導(dǎo)致不良樣品不斷減少，這也對監(jiān)管方式產(chǎn)生了一定的影響。

3.2. 無監(jiān)督方法

針對有監(jiān)督方法的缺點，一些研究人員開始研究無監(jiān)督方法。當(dāng)輸入的訓(xùn)練數(shù)據(jù)只有數(shù)據(jù)信息本身，沒有標(biāo)簽信息時，機器學(xué)習(xí)這些無標(biāo)簽數(shù)據(jù)的模式，得到數(shù)據(jù)的一些內(nèi)在特征和聯(lián)系并自動對數(shù)據(jù)進行分類 [53]。然后，當(dāng)遇到新數(shù)據(jù)時，可以根據(jù)之前學(xué)習(xí)到的模型判斷新數(shù)據(jù)屬于哪個模型（這里的模型是指由原始數(shù)據(jù)組成的模型）。這個過程屬于無監(jiān)督學(xué)習(xí)。

在無監(jiān)督學(xué)習(xí)方法中，最常用的表面缺陷檢測方法主要包括基于重建的方法和基于嵌入相似性的方法。對于前者，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練僅用于正常訓(xùn)練圖像的重建，異常圖像由于不能很好地重建而容易被發(fā)現(xiàn)；異常分?jǐn)?shù)通常用重建誤差表示。最常見的基于重建的方法是自動編碼器（AE）和生成對抗網(wǎng)絡(luò)（GAN）。對于后者，深度神經(jīng)網(wǎng)絡(luò)用于提取描述整幅圖像的有意義的向量，異常分?jǐn)?shù)通常由測試圖像的嵌入向量與訓(xùn)練數(shù)據(jù)集中表示正態(tài)性的參考向量之間的距離表示。典型的算法主要有SPADE[54]、PaDIM[55]、PatchCore[56]等。除了這兩種類型之外，Deep Belief Network（DBN）和Self-Organizing Map（SOM）也可以用于表面缺陷檢測.

本節(jié)將首先以自編碼器（AE）、生成對抗網(wǎng)絡(luò)（GAN）、深度信念網(wǎng)絡(luò)（DBN）和自組織映射（SOM）四種網(wǎng)絡(luò)模型為例，簡要介紹它們在表面缺陷檢測任務(wù)中的研究現(xiàn)狀 . 第 5 節(jié)將介紹基于嵌入相似性方法的三種典型算法。

3.2.1. Autoencoder

編碼器和解碼器是自編碼器的兩個核心部分。其中，encoder對應(yīng)網(wǎng)絡(luò)模型中的隱藏層，用于學(xué)習(xí)輸入信號的低維特征；解碼器對應(yīng)模型中的輸出層，用于盡可能地再現(xiàn)輸入信號。因此，使編碼器能夠?qū)W習(xí)輸入信號良好的低維特征并重構(gòu)輸入信號是自編碼器的最終目標(biāo)。

文獻[57]將傳統(tǒng)圖像處理中的SSIM指標(biāo)作為重建損失引入到基于AE的圖像重建中；對編織紋理數(shù)據(jù)集和納米纖維材料數(shù)據(jù)集進行了測試，與 L2 損失相比，兩者都獲得了顯著差異。為了解決AE對異常樣本重構(gòu)能力強的缺點。文獻[58]將異常檢測轉(zhuǎn)化為補丁序列修復(fù)[59]問題；同時，為了彌補該類方法難以覆蓋較大異常區(qū)域的缺點，提出transformer network僅重構(gòu)覆蓋的patch，并針對不同情況設(shè)計了局部和全局嵌入方法。文獻 [60] 設(shè)計了一種具有多尺度特征聚類的全卷積 AE（MS-FCAE），使用多個不同尺度的 FCAE 子網(wǎng)絡(luò)重建紋理圖像背景，然后從輸入圖像中減去紋理背景以獲得殘差圖像，最后合并它們得到缺陷圖像，其中每個 FCAE 子網(wǎng)絡(luò)使用全卷積神經(jīng)網(wǎng)絡(luò)從輸入圖像中直接獲取原始特征圖像并進行特征聚類。文獻[61]提出了一種多尺度卷積去噪自編碼器（MSCDAE），它使用多模態(tài)策略來綜合多個金字塔層次的結(jié)果，并在LCD面板、瓷磚和紡織品上進行測試；實驗證明該方法具有較高的準(zhǔn)確率和魯棒性。文獻[62]采用卷積自編碼器（CAE）檢測手機logo圖像，提取CAE生成的模板圖像與輸入圖像的差異，然后通過數(shù)學(xué)形態(tài)學(xué)處理，達到異常檢測的目的。文獻[63]提出了一種用于無監(jiān)督特征學(xué)習(xí)的卷積自動編碼器（CAE）。每個 CAE 都使用傳統(tǒng)的在線梯度下降訓(xùn)練，沒有額外的正則化項。在 MNIST 和 CIFAR10 上獲得了良好的結(jié)果。

3.2.2. 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)由兩個參與者組成：生成器和鑒別器。生成器用于獲取樣本數(shù)據(jù)的分布，鑒別器用于估計樣本訓(xùn)練數(shù)據(jù)的概率。該模型的最終目標(biāo)是學(xué)習(xí)真實數(shù)據(jù)的內(nèi)在規(guī)律，預(yù)測和估計真實數(shù)據(jù)的分布或密度，并根據(jù)學(xué)到的知識生成新的數(shù)據(jù)，即生成對抗網(wǎng)絡(luò)制造數(shù)據(jù)。

GAN判別器用于生成缺陷分布似然圖；然后，將編碼器引入標(biāo)準(zhǔn)DCGAN重構(gòu)檢測到的圖像，從原始圖像中減去，得到突出潛在缺陷區(qū)域的殘差圖像；之后結(jié)合殘差圖和缺陷分布似然圖得到增強融合圖，最終在融合圖上通過閾值分割得到缺陷的準(zhǔn)確位置。文獻[65]提出了一種基于GAN的帶鋼表面缺陷檢測的一類分類方法，其中生成器G采用編解碼器，輸入編碼得到的隱藏空間的特征（GAN生成器的倒數(shù)第二層輸出）引入支持向量機進行缺陷分類，該模型在邯鋼提供的圖像上取得了良好的測試效果。文獻[66]提出了一種基于GAN的檢測方法。在第一階段，使用生成網(wǎng)絡(luò)和基于統(tǒng)計的表示學(xué)習(xí)機制檢測新區(qū)域。在第二階段，在潛在空間中直接使用 Frechet 距離來區(qū)分缺陷和正常樣本。該方法在太陽能電池板數(shù)據(jù)集上達到了 93.75% 的準(zhǔn)確率。文獻[67]設(shè)計了一個基于GAN的表面視覺檢測框架，它使用多尺度融合策略融合GAN判別器三個卷積層的響應(yīng)，然后使用OTSU對融合特征響應(yīng)圖進行分割以進一步分割缺陷位置。在木材和道路裂縫數(shù)據(jù)集上的實驗證明了該框架的有效性。為了檢測織物表面的各種缺陷，文獻[68]提出了一種基于GAN框架的模型。該模型首先使用多種紋理融合到特定位置，然后通過多級GAN不斷更新現(xiàn)有的織物缺陷數(shù)據(jù)集；因此，網(wǎng)絡(luò)模型不斷微調(diào)，以達到更好的檢測效果。

3.2.3. 深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)由多個RBM（受限玻爾茲曼機）組成，整個網(wǎng)絡(luò)的訓(xùn)練是通過逐層單獨訓(xùn)練RBM來完成的。

文獻[69]提出了一種基于DBN的太陽能電池缺陷檢測算法。該算法以重建圖像和訓(xùn)練圖像作為監(jiān)督數(shù)據(jù)，通過BP算法的微調(diào)網(wǎng)絡(luò)建立訓(xùn)練樣本和非缺陷圖像之間良好的映射關(guān)系。文獻[70]提出了一種DS-DBN-SVM（差分搜索-深度信念網(wǎng)絡(luò)-支持向量機）模型來識別螺栓缺陷的類型。在該模型中，采用DS算法優(yōu)化DBN網(wǎng)絡(luò)的權(quán)值和閾值；DS-DBN模型用于提取螺栓數(shù)據(jù)的特征，提取的特征作為SVM的輸入來識別螺栓缺陷類型。

3.2.4. Self‐Organizing Map

自組織圖模擬人腦不同區(qū)域神經(jīng)網(wǎng)絡(luò)細(xì)胞的不同分工，通過搜索最優(yōu)參考向量集對輸入模式集進行分類。

文獻 [71] 提出了一種使用 SOM 來區(qū)分正常木材和缺陷木材的檢測方法。第一階段檢測疑似缺陷區(qū)域，第二階段單獨檢查缺陷區(qū)域。在松木數(shù)據(jù)集上的測試得到了比較理想的結(jié)果。文獻[72]結(jié)合Otsu和SOM實現(xiàn)TSV缺陷的檢測和定位。

無監(jiān)督方法有效地彌補了監(jiān)督方法的不足，但由于其自身的特點仍然存在一些問題。由于只訓(xùn)練了正例，無監(jiān)督方法無法確定什么是正確的輸出，因此不能保證對每種類型的缺陷樣本（在訓(xùn)練中沒有出現(xiàn)）都有良好的檢測效果。因此，無監(jiān)督方法的準(zhǔn)確率還有很大的提升空間，總的來說，無監(jiān)督方法對紋理圖像有更好的檢測效果。

3.3. 弱監(jiān)督方法

有的學(xué)者結(jié)合了有監(jiān)督方法和無監(jiān)督方法的特點；因此，產(chǎn)生了弱監(jiān)督方法。與監(jiān)督和非監(jiān)督方法相比，弱監(jiān)督方法可以在避免更高的標(biāo)記成本的同時獲得更好的性能。目前，工業(yè)表面缺陷檢測中常用的弱監(jiān)督方法有不完全監(jiān)督法和不準(zhǔn)確監(jiān)督法。

3.3.1. 不完全監(jiān)督方式

不完全監(jiān)督意味著大部分訓(xùn)練樣本沒有標(biāo)記，只有少數(shù)樣本被標(biāo)記，這部分標(biāo)記樣本不足以訓(xùn)練一個好的模型。在不完全監(jiān)督方法中，半監(jiān)督方法常用于工業(yè)產(chǎn)品的表面缺陷檢測。

半監(jiān)督方法可以在沒有人工干預(yù)的情況下自動開發(fā)未標(biāo)記的樣本數(shù)據(jù)，以提高學(xué)習(xí)效果。文獻[73]設(shè)計了一種基于殘差網(wǎng)絡(luò)結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，將兩層殘差構(gòu)建模塊堆疊在一起形成一個43層的卷積神經(jīng)網(wǎng)絡(luò)，同時為了達到網(wǎng)絡(luò)深度之間的平衡和網(wǎng)絡(luò)寬度，提高精度，適當(dāng)增加網(wǎng)絡(luò)寬度。該網(wǎng)絡(luò)結(jié)構(gòu)在 DAGM、NEU 鋼數(shù)據(jù)集和覆銅板數(shù)據(jù)集上表現(xiàn)出良好的性能。文獻[74]提出了一種基于卷積自動編碼器（CAE）和生成對抗網(wǎng)絡(luò)（SGAN）的半監(jiān)督模型，堆疊的CAE用未標(biāo)記的數(shù)據(jù)訓(xùn)練，其編碼器網(wǎng)絡(luò)被保留并作為GAN鑒別器輸入到SoftMax層，使用GAN 生成鋼鐵表面缺陷的假圖像來訓(xùn)練鑒別器。文獻[75]設(shè)計了一個由樣本生成和半監(jiān)督學(xué)習(xí)組成的鋼鐵表面缺陷檢測系統(tǒng)。在半監(jiān)督學(xué)習(xí)部分，使用了CDCGAN和ResNet18兩個分類器，并在NEU-CLS數(shù)據(jù)集上進行了對比實驗。其結(jié)果，證明該方法優(yōu)于監(jiān)督學(xué)習(xí)和遷移學(xué)習(xí)。文獻[76]提出了一種PCB焊點缺陷檢測框架。在該框架的分類任務(wù)中，采用了基于“樣本-查詢-建議”算法的主動學(xué)習(xí)的概念和基于“自訓(xùn)練”的半監(jiān)督學(xué)習(xí)的概念，該框架已被證明可以改善分類性能，同時大大減少注釋的數(shù)量。

3.3.2. Inexact Supervision Method

不精確監(jiān)督側(cè)重于給出了監(jiān)控信息，但信息不精確，即只包含粗粒度標(biāo)簽的情況。對于更多包含像素級標(biāo)簽的任務(wù)，圖像級標(biāo)簽是粗粒度標(biāo)簽。

文獻[77]在原有ResNet-50網(wǎng)絡(luò)的基礎(chǔ)上，刪除原有的全連接層和池化層，在網(wǎng)絡(luò)末端增加兩個1×1的卷積，得到缺陷對應(yīng)的特征圖，實現(xiàn)了僅通過 圖像標(biāo)簽完成對太陽能電池板裂紋的初步檢測。文獻 [78] 開發(fā)了一個由定位網(wǎng)絡(luò)（LNet）和決策網(wǎng)絡(luò)（DNet）組成的 WSL 框架用于鋼鐵表面缺陷檢測，其中 LNet 使用圖像級標(biāo)簽訓(xùn)練并輸出潛在缺陷位置的熱圖作為 DNet 輸入，DNet 使用 RSAM 對 LNet 識別的區(qū)域進行加權(quán)，所提出框架的性能在實際工業(yè)數(shù)據(jù)集上得到了證明。

目前，弱監(jiān)督方法在工業(yè)產(chǎn)品表面缺陷檢測領(lǐng)域還比較少見，但由于同時具有監(jiān)督學(xué)習(xí)方法和無監(jiān)督學(xué)習(xí)方法的優(yōu)點，這類方法的應(yīng)用前景也很廣闊 .

3.4 總結(jié)

綜上所述，在深度學(xué)習(xí)的三種方法中，監(jiān)督方法的應(yīng)用最為廣泛，因為它具有較好的準(zhǔn)確性，但也存在明顯的缺點；無監(jiān)督方法符合產(chǎn)業(yè)發(fā)展的進程，但有其自身的特點；弱監(jiān)督方法目前應(yīng)用并不廣泛，但具有廣闊的發(fā)展前景。

4. 關(guān)鍵問題

4.1. 實時問題

在實際工業(yè)場景中的表面缺陷檢測任務(wù)中，實時性問題不容忽視。在一些特殊場景中，如在線分析、在線監(jiān)控等，實時性問題處于極其重要的地位。處理實時性問題的目標(biāo)是在準(zhǔn)確率大致相同的前提下，減少檢測時間，提高檢測效率。目前，已有學(xué)者對實時性問題進行了一定的研究。例如，文獻[79]設(shè)計了一種新型的 11 層 CNN 模型，用于機器人焊接制造中的焊接缺陷檢測。該方法為金屬增材制造（AM）的在線檢測提供了指導(dǎo)，即該方法可以滿足一定的實時性要求。文獻 [80] 提出了一種結(jié)合 SSIM 和 MobileNet 的兩階段算法來檢測印刷電路板上的表面缺陷，在保持高精度的同時，其速度至少比 Faster RCNN 快 12 倍。

目前，模型加速是解決實時性問題的重要思路之一。模型加速主要可以從算法和硬件兩個方面進行，具體如下：

(1)算法：對于網(wǎng)絡(luò)算法層面，可以采用輕量級網(wǎng)絡(luò)對模型進行加速。常用的輕量級模型包括 MobileNet、ShuffleNet、SqueezeNet 和 EfficientNet。此外，蒸餾和修剪也可以用于在算法級別加速網(wǎng)絡(luò)。在計算算法上，可以優(yōu)化卷積運算，達到模型加速的目的。典型的算法包括FFT、Winograd等。

(2)硬件：使用GPU、FPGA、DSP等是目前通過硬件加速模型的主要方式。

4.2. 小樣本問題

現(xiàn)實中，基于深度學(xué)習(xí)的表面缺陷檢測方法往往不能直接用于工業(yè)產(chǎn)品的表面缺陷檢測任務(wù)。主要原因之一是現(xiàn)代工業(yè)流程的不斷優(yōu)化導(dǎo)致缺陷樣本越來越少，即缺陷圖像的數(shù)量非常有限。這種從少量樣本中學(xué)習(xí)的問題通常稱為小樣本問題[81]，在訓(xùn)練過程中很容易導(dǎo)致過擬合問題。目前解決小樣本問題的主流方案主要有以下四種：

4.2.1. 數(shù)據(jù)增強

數(shù)據(jù)增強的常用方法包括平移、旋轉(zhuǎn)、鏡像對比度調(diào)整和數(shù)據(jù)合成。通過數(shù)據(jù)放大，可以獲得大量的樣本圖像。

文獻[82]在無缺陷圖像的表面添加合成缺陷以完成裝飾塑料零件數(shù)據(jù)集的擴展。文獻 [83] 以互補的方式將手工制作的特征與無監(jiān)督學(xué)習(xí)特征融合在一起，生成更具辨別力的缺陷表示。

4.2.2. 無監(jiān)督/半監(jiān)督模型

無監(jiān)督模型的優(yōu)點之一是它只需要用正樣本而不是負(fù)樣本進行訓(xùn)練，這為解決小樣本問題提供了方向。另外，只需要標(biāo)記少量樣本的半監(jiān)督模型也是解決小樣本問題的替代模型之一。具體內(nèi)容參見3.2、3.3.1。

4.2.3. 遷移學(xué)習(xí)

通過遷移學(xué)習(xí)，已經(jīng)從一項任務(wù)中學(xué)到的知識可以應(yīng)用于其他不同但相關(guān)的任務(wù)，尤其是當(dāng)目標(biāo)任務(wù)的數(shù)據(jù)不足時。實際上，大多數(shù)數(shù)據(jù)或任務(wù)都是相關(guān)的。因此，遷移學(xué)習(xí)也是解決小樣本問題的主要思路之一。文獻 [84,85] 結(jié)合遷移學(xué)習(xí)和 Alex Net 來檢測太陽能電池板和織物的表面缺陷。文獻[86-90]將遷移學(xué)習(xí)與VGG網(wǎng)絡(luò)結(jié)合用于乳液泵體、印刷電路板、傳輸線組件、鋼板和木材的表面缺陷檢測。文獻 [91] 將遷移學(xué)習(xí)和 DenseNet 結(jié)合到織物表面缺陷檢測中。

4.2.4. 優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化也是解決小樣本問題的一個方向。以GAN為例，AnoGAN模型在2017年的文獻[92]中被提出，首次將GAN用于圖像異常檢測。該模型不斷迭代優(yōu)化固定生成器 G 的參數(shù)，在潛在空間中尋找與測試圖像最接近的生成圖像，然后使用 DCGAN 進行圖像異常檢測。2019年，文獻[93]對AnoGAN進行了改進，提出了f-AnoGAN模型。在該模型中，建議使用編碼器將圖像快速映射到潛在空間中的一個點，然后使用 WGAN 進行異常檢測。Encoder的引入解決了AnoGAN迭代優(yōu)化需要大量時間的問題。此外，GANomaly模型（整體結(jié)構(gòu)為encoder-decoder-encoder）在2018年的文獻[94]中提出；通過比較編碼得到的潛變量和重構(gòu)編碼得到的潛變量的差異，檢測異常樣本。值得注意的是，上述模型都不需要用負(fù)樣本進行訓(xùn)練。

4.3.小目標(biāo)檢測問題

小目標(biāo)檢測問題也是工業(yè)產(chǎn)品表面缺陷檢測領(lǐng)域的難點之一。小目標(biāo)是指圖像中尺寸較小的目標(biāo)。“小”有兩種定義。一種是絕對尺寸小，通常認(rèn)為是尺寸小于32*32像素的小目標(biāo)。另一種是相對尺寸小，即目標(biāo)尺寸小于原始圖像尺寸的一定比例，如0.1，即該目標(biāo)被認(rèn)為是小目標(biāo)。文獻[95]通過彩虹級聯(lián)（pooling and deconvolution）整合不同層的特征，增加不同層的特征圖數(shù)量的同時增加不同層之間的特征圖關(guān)系，一定程度上解決了小目標(biāo)問題。文獻[96]提出了一個由多個不同IOU閾值的檢測器組成的Cascade R-CNN多階段目標(biāo)檢測框架，在整個框架中，將前一階段調(diào)整后的proposal作為下一階段訓(xùn)練的輸入。該方法用于小目標(biāo)，通過該方法顯著提高了小目標(biāo)的檢測結(jié)果。目前有一些技巧可以解決小目標(biāo)檢測問題，總結(jié)如下：

(1)特征融合：將深層語義信息融合為淺層特征圖，利用深層特征豐富語義信息，同時利用淺層特征適合檢測小目標(biāo)的特點；

(2) 數(shù)據(jù)增強：增加訓(xùn)練集中小目標(biāo)的樣本類型和數(shù)量；

(3) Image Pyramid + Multi-scale Sliding Window：為圖像設(shè)置不同的輸入尺寸，訓(xùn)練時隨機選擇一個尺度，將輸入圖像縮放到這個尺度，發(fā)送到網(wǎng)絡(luò)；

(4)降低網(wǎng)絡(luò)下采樣率：通過降低下采樣率來減少特征圖上物體的損失，常用的方法是直接去掉池化層，同時使用空洞卷積；

(5)合理的anchor設(shè)計：主要方法包括：邊界聚類，即在訓(xùn)練集的標(biāo)簽上聚類一組合適的anchor；統(tǒng)計實驗，即把anchor和label的中心點放在一起，只利用寬高信息進行匹配實驗，找出一組寬高比分布最一致的anchor；設(shè)置更小更密集的anchor和匹配策略，比如不要為小物體設(shè)置太嚴(yán)格的IoU閾值；

(6)合適的訓(xùn)練方法：使用高分辨率圖像進行預(yù)訓(xùn)練，同時放大輸入圖像，然后在小分辨率圖像上進行微調(diào)；

(7) 使用GAN將小物體放大然后檢測；

(8)使用Context信息：在目標(biāo)與其Context之間建立連接。

4.4. 數(shù)據(jù)不均衡樣本識別問題

不平衡樣本的識別 [97,98] 是基于深度學(xué)習(xí)方法用于工業(yè)產(chǎn)品表面缺陷檢測的另一個難點。在深度學(xué)習(xí)中，在訓(xùn)練模型時，通常要求樣本集中各類別的樣本數(shù)量平衡。然而，這種理想情況在現(xiàn)實中很少發(fā)生。在更多情況下，數(shù)據(jù)集中“正常”樣本的數(shù)據(jù)量通常占多數(shù)，而“缺陷”或“異常”樣本的數(shù)據(jù)量僅占總樣本的一小部分。這種現(xiàn)象稱為“樣本不平衡”現(xiàn)象。樣本識別不平衡的問題主要存在于監(jiān)督學(xué)習(xí)的任務(wù)中。這個問題的出現(xiàn)會導(dǎo)致算法更加關(guān)注數(shù)據(jù)量較大的類別而低估數(shù)據(jù)量較小的類別，從而影響模型在測試數(shù)據(jù)中的泛化和預(yù)測能力。

目前，不平衡樣本的識別可以從數(shù)據(jù)層面、模型層面、特征層面、評價指標(biāo)層面四個方面來處理。

4.4.1. 數(shù)據(jù)層面

數(shù)據(jù)層面的處理方法思想是改變訓(xùn)練集的樣本分布，使訓(xùn)練集中的樣本分布趨于平衡，即各類樣本的數(shù)量趨于一致。可以從數(shù)據(jù)源、數(shù)據(jù)增強、數(shù)據(jù)重采樣[99,100]、類均衡采樣、合成樣本[101]五個方面進行，如圖4所示。

4.4.2. 模型層面

(1) Cost-sensitive：cost-sensitive思想是在目標(biāo)函數(shù)中增加誤分類小類樣本的損失值，通過優(yōu)化目標(biāo)函數(shù)來調(diào)整模型對小類樣本的注意力。有兩種主要的成本敏感方法：重建訓(xùn)練集或引入成本敏感因素。

重構(gòu)訓(xùn)練集：在不改變現(xiàn)有算法的情況下，根據(jù)樣本的不同誤分類代價為訓(xùn)練集中的每個樣本分配權(quán)重，根據(jù)權(quán)重重構(gòu)原始樣本集。

引入成本敏感因素：為小類樣本分配較高的成本，為大類樣本分配較低的成本，以平衡樣本數(shù)量的差異。成本敏感因素包括成本敏感矩陣和成本敏感向量，成本敏感方法需要在處理前指定成本敏感矩陣（或成本敏感向量）。在實際情況中，成本敏感矩陣（或成本敏感向量）中誤分類權(quán)重的具體值通常可以根據(jù)樣本間的比率和分類結(jié)果的混淆矩陣等信息來指定。

(2)集成學(xué)習(xí)：使用集成學(xué)習(xí)進行缺陷檢測主要有兩種方式，分別是：

A：集成學(xué)習(xí)+數(shù)據(jù)預(yù)處理：典型的算法包括Smote bagging、Smote boost、Easy Ensemble和Balance cascade；

B：集成學(xué)習(xí)+成本敏感：典型的算法是AdaCost [102]，Rare Boost。

(3) 轉(zhuǎn)化為異常檢測問題：當(dāng)樣本類別極不平衡時，缺陷檢測問題可以看成是異常檢測問題，異常檢測算法（如One-Class SVM、SVDD等）可以 用于建立單個分類器來檢測異常點（即小類別的樣本）。

4.4.3. 特征層面

從特征選擇的角度，根據(jù)與分類器的關(guān)系，可以進一步分為三種方法：

與分類器無關(guān)（典型算法：過濾器）；

獨立于分類器（典型算法：Wrapper）；

結(jié)合分類器（典型算法：嵌入式）。

4.4.4. 評估指標(biāo)級別

由于樣本不平衡的問題對準(zhǔn)確度（Accuracy）的影響最大，因此在實際中通常不會單獨使用該指標(biāo)。一些評價指標(biāo)是專門為解決樣本不平衡問題而設(shè)計的，如召回率、F1測度、Kappa系數(shù)、ROC（AUC）等。

5. 工業(yè)產(chǎn)品缺陷檢測數(shù)據(jù)集

數(shù)據(jù)集是研究工作的基礎(chǔ)。一個好的數(shù)據(jù)集更有利于問題的發(fā)現(xiàn)和總結(jié)，從而便于解決。目前，工業(yè)產(chǎn)品表面缺陷檢測領(lǐng)域還沒有一個龐大而統(tǒng)一的數(shù)據(jù)集。對于特定的研究對象和研究場景，經(jīng)常使用不同的數(shù)據(jù)集。本節(jié)根據(jù)對象和應(yīng)用場景的不同，對工業(yè)領(lǐng)域常用的數(shù)據(jù)集進行分類，并給出相關(guān)鏈接。如表 2 所示，這些數(shù)據(jù)集涵蓋了廣泛的工業(yè)應(yīng)用，包括：熱軋鋼帶、鋼軌、電子換向器、太陽能電池板、印刷電路板、磁瓦、織物等。鑒于現(xiàn)有數(shù)據(jù)集的總結(jié)，希望能為學(xué)者在該領(lǐng)域的研究提供相同的數(shù)據(jù)來源。此外，圖 5 選取了部分?jǐn)?shù)據(jù)集并在一定程度上展示了它。

MVTec AD 數(shù)據(jù)集共包含 15 個類別，其中 5 個類別為不同類型的紋理，其余 10 個類別為 10 個不同類型的對象。在這個數(shù)據(jù)集中，3629幅圖像用于訓(xùn)練和驗證，1725幅圖像用于測試。訓(xùn)練集僅包含無缺陷圖像，而測試集包含無缺陷圖像和各種類型的缺陷圖像。該數(shù)據(jù)集通常用于無監(jiān)督缺陷/異常檢測。

6 總結(jié)

表面缺陷檢測是智能生產(chǎn)不可或缺的一部分。因此，研究工業(yè)產(chǎn)品表面缺陷檢測具有很強的現(xiàn)實意義。本文對機器學(xué)習(xí)方法在工業(yè)產(chǎn)品表面缺陷檢測中的現(xiàn)狀進行了一定的調(diào)查。我們首先討論傳統(tǒng)機器視覺方法和深度學(xué)習(xí)方法在表面缺陷檢測領(lǐng)域的應(yīng)用。同時指出工業(yè)產(chǎn)品表面缺陷檢測領(lǐng)域的一些關(guān)鍵問題并總結(jié)其解決方案。此外，我們概括了一個相對完整的工業(yè)產(chǎn)品表面缺陷檢測數(shù)據(jù)集，可以幫助研究人員對工業(yè)產(chǎn)品表面缺陷檢測進行更深入的研究。

我們通過簡要解釋一些具體的研究方法來支持我們的觀點，這是有效的。考慮到文章的篇幅和可讀性，我們只選取了一些研究方法進行擴展和解釋，因此存在一些方法的文獻不夠或不最新的問題。但是，我們相信我們的綜述可以幫助研究人員了解工業(yè)產(chǎn)品表面缺陷檢測的相關(guān)研究進展，并起到一定的參考作用。

審核編輯：湯梓紅