色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于深度學習的工業缺陷檢測方法

新機器視覺 ? 來源:新機器視覺 ? 作者:新機器視覺 ? 2022-07-30 14:41 ? 次閱讀

基于深度學習工業缺陷檢測方法可以降低傳統人工質檢的成本, 提升檢測的準確性與效率, 因而在智能制造中扮演重要角色, 并逐漸成為計算機視覺領域新興的研究熱點之一. 其被廣泛地應用于無人質檢、智能巡檢、質量控制等各種生產與運維場景中. 本綜述旨在對工業缺陷檢測的任務定義、難點、挑戰、主流方法、公共數據集及評價指標等進行全面歸納, 以幫助研究人員快速了解該領域. 具體而言, 本文首先介紹工業缺陷檢測的背景與特點. 接著, 按照實際數據標注情況, 劃分出缺陷模式已知、缺陷模式未知與少量缺陷標注 3 種研究任務設置, 并根據方法類型作進一步歸納與分析, 探討了各方法的性能優劣與適用場景, 闡明了方法與實際應用需求的關聯性. 此外, 本文還歸納了方法部署中的關鍵輔助技術, 總結了現有方法在實際產業落地中存在的局限性. 最后, 本文對該領域未來的發展趨勢和潛在研究方向進行了展望.

01引言

大到飛機機翼, 小到芯片晶粒, 工業制品在現代社會中無處不在. 工業缺陷檢測, 旨在發現各種工 業制品的外觀瑕疵, 是保障產品質量、維持生產穩定的重要技術之一. 以往的缺陷檢測需要人工篩查, 成本高、效率低, 難以覆蓋大規模的質檢需求. 近年來, 隨著工業成像、計算機視覺和深度學習等領域 的新技術層出不窮, 基于視覺的工業缺陷檢測技術得到了長足的發展, 成為了針對產品外觀質檢的一 種有效的解決方案, 引發了學術界和工業界的強烈關注. 工業缺陷檢測不僅可以用于檢測各種工業制 品, 如金屬、紡織物、半導體等, 而且具有優秀的檢測精度與效率, 還能提供簡便、安全的操作環境. 因此, 工業缺陷檢測已成為智能制造領域重要的基礎研究與技術之一, 并被廣泛應用于無人質檢、智能巡檢、生產控制和異常溯源等場景.

《中國制造 2025》行動綱領指出, 建設制造強國任務艱巨而緊迫, 需要加速推進信息化與工業化的深度融合, 推進生產過程的智能化. 因此, 基于視覺的工業缺陷檢測 不僅具有非常重要的研究價值, 同時也擁有廣闊的應用前景. 然而, 相比于一般的目標檢測任務, 工業 缺陷檢測面臨著諸多難點, 如, 缺陷樣本匱乏、缺陷的可視性低、形狀不規則、類型未知等, 導致許多 現有方法難以同時滿足高精度、高速度的任務需求, 因此在實現落地應用的道路上依然存在大量問題 亟待解決.

由于工業缺陷可以視為工業產品的外觀 “異常”, 因此也有部分工業缺陷檢測方法采用了異常檢 測的思路. 然而異常檢測的定義與工業缺陷檢測也有所區別. 具體而言, 異常檢測的概念更加廣泛與 抽象, 其中圖像異常檢測主要關注輸入圖像是否為異常實例, 而工業缺陷檢測更關注像素層面的檢出 任務. 在像素層面上, 異常與正常模式的差別更加細微, 檢測難度也大幅增加. 因此直接使用異常檢測 方法難以滿足工業缺陷檢測的任務需求.

近年來, 深度學習方法因其在處理背景復雜、缺陷微弱的工業圖像時展現出卓越的性能優勢, 逐 漸在該領域占據主導地位. 鑒于此, 本文對基于深度學習的工業缺陷檢測方法進行綜述, 旨在幫助研 究人員快速對該領域的任務設置、主流方法、評價體系等方面有系統性的了解. 由于該任務具有較強 的應用驅動性, 本文按照實際情況中數據樣本的標注與使用情況, 劃分出 3 種任務設置: 缺陷模式已 知、缺陷模式未知和少量缺陷標注. 特別地, 本文還歸納了促進方法落地的關鍵輔助技術, 其有助于提 升方法的實用性. 本文關注各方法間的共性與不同, 按照問題導向逐步剖析其發展脈絡, 并結合領域 研究現狀對未來發展趨勢進行展望, 希望幫助研究者們開拓思路.

目前國內外的綜述 [1~5] 大多探討廣義的異常檢測領域的方法, 試圖涵蓋圖像、視頻、表格和序列 等各種數據形式. 文獻 [2, 3] 對基于深度學習的異常檢測方法進行了綜合性的歸納與分析, 但缺乏針 對工業場景的探討. 文獻 [6, 7] 雖然以工業生產為背景來綜述, 但主要著眼于傳統方法與系統控制. 文獻 [8] 對基于深度學習的表面缺陷檢測方法進行了系統性的歸納, 但主要梳理有監督方法. 而近期, 基 于無監督、半監督等設置的研究同樣涌現出許多新的成果, 但目前尚無相應針對工業缺陷檢測領域的全面而細致的綜述文獻. 因此, 本綜述希望填補這一空缺, 并著重對此類新方法進行介紹與總結. 本文后續內容的組織如下: 第 2 節介紹工業缺陷檢測問題的定義, 分析研究難點與挑戰; 第 3 節 基于3種任務設置介紹近年主流的工業缺陷檢測方法, 并按照方法的設計原理進一步歸納與分析; 第 4 節梳理針對實際部署的關鍵輔助技術; 第 5 節介紹常用的公開數據集與評價指標, 并比較典型方法 的性能; 最后, 第 6 節總結了當前研究的狀況與局限性, 并對未來發展趨勢與潛在研究方向進行展望.

02問題定義與研究現狀

2.1 問題定義

基于視覺的工業缺陷檢測旨在發現織物、芯片、藥品乃至基建材料等各種工業制品的外觀可見缺 陷. 這些缺陷雖然微小, 卻可能嚴重危害產品的正常功能. 它們可能發生在工業產品的生命周期中任何時期, 如產品的生產、運輸與使用過程等. 缺陷 (defect) 的概念可類比到異常 (anomaly). 異常指超出預期模式范圍的數據[1] , 目前已有大量工作對其進行定義與歸類 [1~5, 9, 10] . 通常學者根據數據之間是否存在上下文關系, 將異常分為點異常、 上下文異常和集群異常 [1, 5, 10] .

如圖 1(a) 所示, 點異常又稱為離群值 (outliers) [9] , 描述數值上偏離正常樣本的獨立數據; 上下文異常同樣描述數據點, 其數值屬于正常范圍, 但不符合局部上下文規律; 集群異常描述一系列相關數據的集合, 集合中的每一個實例的數值在單獨考察時都處于正常值域, 但集合整體的相關性特征不服從正常模式. 具體到圖像數據, 文獻 [5] 根據異常是否存在明顯的語義性將圖像異常分為低級紋理異常和高級語義異常.

與異常相近的概念還包括新穎點 (novelty) 和分布外數據 (out-of-distribution, OOD) [4] . 在圖 1(b) 所示的圖像分類任務中, 基于白貓樣本定義貓類. 白狗即 使顏色相近, 但因語義類別不同而屬于離群值; 黑貓屬于貓類, 語義類別相同, 但其顏色屬性未在訓練 集中出現過, 而屬于新穎點; OOD 則關注數據集合的分布差異, 文本數據集與自然場景中貓的數據集 的分布呈現出明顯差異. 類似地, 如圖 1(c) 所示, 工業缺陷檢測中, 正常樣本包括多類產品, 缺陷可被 視為其外觀上的 “異常”. 不同的是, 工業缺陷往往出現在圖像中的小部分區域, 顯著程度更低, 且語義 概念模糊. 因而, 一般的圖像異常檢測往往僅需區分正常與異常樣本, 而工業缺陷檢測更關注于檢測圖像中的異常像素. 在實際工業場景中, 缺陷的定義更加主觀, 因而學者們試圖尋求其與異常檢測的 關聯. 考慮到上述幾種任務的相似性, 在部分缺陷檢測方法中也采用了異常檢測、新穎點檢測與 OOD 檢測的思路. 例如, 單獨考慮缺陷的像素值, 可類比為新穎點或離群值; 考慮像素間的關聯時, 又可將 其類比上下文異常或集群異常.

4825dbfc-0f1b-11ed-ba43-dac502259ad0.jpg

雖然缺陷通常屬于未知模式, 但仍然可以從已有的缺陷樣本中發現一定的共性, 因此總結缺陷與 背景的類型有助于針對性地設計檢測方法. 如圖 2 所示, 依據缺陷出現的位置與表現形式, 本文將工業缺陷分為表面缺陷與結構缺陷.

表面缺陷主要出現在產品表面的局部位置, 通常表現在紋理突變、異狀區域、反規律模式或錯誤的圖案. 例如, 表面裂紋、色塊、織物的稀織以及商標文字的印刷錯誤等. 根據缺陷區域的像素值與周圍背景的差異性可將其類比為離群值或集群異常: 離群值型缺陷的像素值通常與正常圖像具有明顯差異; 集群異常型缺陷的像素值與周圍正常區域屬于同一范圍, 因而更難被發現.

結構缺陷主要是由產品整體的結構錯誤所致, 包括形變、錯位、缺損與污染. 例如鐵絲的彎曲、二極管的邊緣缺損或處于錯誤的位置等. 相應地, 根據是否包含產品整體結構, 背景可分為紋理類 與物體類. 紋理類聚焦產品的局部表面, 按照復雜程度依次劃分為簡單紋理、規則紋理與無規則紋理. 物體類包含產品整體, 結構更加復雜, 且存在產品之外的背景干擾. 此時, 不僅需要考慮表面缺陷, 也 要考慮結構缺陷. 可見, 在不同的背景上, 不同種類的缺陷微弱程度不同. 即使是同種缺陷的不同實例之間, 可視性也可能有較大差異.

483b0c0c-0f1b-11ed-ba43-dac502259ad0.jpg

根據輸出結果粒度的不同, 工業視覺缺陷檢測任務一般包括分類和定位. 如圖 3 所示, 對于一個 待測圖像實例, 分類任務首先將其二分類為正常樣本或缺陷樣本; 當缺陷類型已知時, 還可進一步對缺陷類型進行判別, 例如, 織物上可能存在穿線、異色等多種缺陷. 定位任務的目標是找到缺陷在圖像 中的具體區域, 根據缺陷區域的描述方式可分為檢測 (檢測框) 與分割 (像素級). 事實上, 上述任務有 時是可以同時進行的, 例如, 在分類模型上利用可視化方法 [11~13] 可實現像素級的定位, 分割結果同 樣可以用來判斷整圖的分類. 由于工業缺陷的形狀不規則、尺寸變化較大, 檢測框難以精確表示缺陷 的位置, 而且容易引入較多無關的背景信息, 對缺陷檢測性能的評估造成麻煩. 因而, 在實際的缺陷定 位任務中, 研究者們更關注缺陷分割方法. 鑒于此, 本文將重點論述分類與分割任務的工作。

48469072-0f1b-11ed-ba43-dac502259ad0.jpg

2.2 研究概述

工業缺陷檢測長期以來都是工業視覺領域最重要的研究之一. 近年來, 隨著深度學習在計算機視 覺任務中的普及, 基于深度學習的工業缺陷檢測方法也得到了飛速發展, 并逐漸占據主流. 得益于卷 積神經網絡 (convolutional neural network, CNN) 強大的特征提取能力與對高維數據的表征能力, 基于深度學習的方法可以自動學習人工難以設計的特征, 不僅節約了手工設計特征的成本, 還令檢測精度大幅提高. 相比基于圖像處理與統計學習的傳統方法, 它更擅長處理復雜的工業圖像數據.

本文將近年國內外工業缺陷檢測領域的熱點研究進展組織為圖 4 所示的結構. 檢測算法依據實際工業場景中數據情況的不同, 被分為缺陷模式已知、缺陷模式未知與少量缺陷標注 3 種設置. 缺陷模式已知時, 一般采用有監督深度學習方法, 需要充足而精確的樣本標注, 可以從分類、檢測與分割 3 種角度進行方法設計. 缺陷模式未知時, 一般采用無監督深度學習方法構造比較對象. 根據比較對象維度的不同, 可分為在圖像維度與在特征維度比較相似度, 并基于方法的原理進一步細分. 少量缺陷標注的場景貼 近實際工業情況, 訓練集中包含比例不均衡正負樣本, 且只有少量的缺陷樣本具有精確或不精確的標注. 此時, 根據具體的數據標注情況, 分別采用小樣本、半監督和弱監督等新興方法來處理, 近年來這些方法也逐漸得到學術界與工業界的高度重視. 自監督學習屬于無監督學習的一種, 其從無標注數據 中挖掘自身的監督信息, 最近也在工業缺陷檢測領域得到了廣泛的應用.

因此, 本文從構建監督信息的角度對自監督方法予以歸納. 輔助技術主要用于提升檢測方法的實用性, 本文主要從 3 個角度討論. 數據增強與合成為數據貪婪的檢測模型提供足夠的訓練集; 模型壓縮與加速技術面向落地使用中的低 存儲開銷與實時性需求; 閾值設置旨在找到推理階段最合適的分類邊界.

4851b48e-0f1b-11ed-ba43-dac502259ad0.jpg

03檢測算法

3.1 缺陷模式已知

在許多實際工業場景中, 大部分缺陷的類型已事先經過專業的統計與歸納, 因而在方法設計時可 以利用缺陷的特征直接檢測, 或者利用先驗知識搜集、標注數據集來訓練模型. 基于有監督設置的深度學習方法已經在許多視覺任務上取得了較為成熟的發展與應用. 當缺陷種 類已知且具有充足的標注樣本, 或者需要解決缺陷種類的多分類問題時, 工業缺陷檢測往往采用有監督方法. 這些方法大多是將已有的通用目標的分類、檢測、分割模型應用于工業場景, 并根據實際情況中缺陷的微弱性與模型的速度需求進行微調.

有監督的方法可以解決缺陷多分類的問題, 適合于大部分缺陷的類型已知或缺陷特點鮮明的情況. 盡管需要高昂的標注成本, 但是此類方法在樣本充足的情況下具有優良的性能, 并已在部分實際應用 中檢驗了方法的有效性. 現有方法在簡單規則的工業場景中已較為成熟, 而對于復雜背景及無規則微 弱缺陷的檢測仍有發展空間. 然而, 面對樣本匱乏、缺陷模式未知的情況時, 有監督方法本身依然存在不足.

48593984-0f1b-11ed-ba43-dac502259ad0.jpg

3.2 缺陷模式未知

在實際情況中, 含有缺陷的樣本極難獲取. 面對缺陷的未知性與無規則性, 基于缺陷先驗知識的 方法存在較大的局限性. 因此, 無監督的設置已經引起了廣泛重視. 此類方法大多借鑒異常檢測的思 路, 對易于獲取與描述的正常樣本進行建模. 缺陷被定義為正常范圍之外的模式.

無監督設置下的任務目標通常是判斷待測樣本是否包含缺陷, 或對缺陷區域進行定位, 此時定位結果的輸出一般是像素級的分割結果. 基于無監督設置的深度學習方法僅需要易于獲取的正常樣本用于模型訓練, 無需使用真實缺陷樣本. 其不僅能解決有監督深度學習方法無法發現未知缺陷的問題, 而且擁有比傳統方法更強的對圖像特征的表達能力, 因而成為了當今的研究熱點. 此類方法的核心思想是構建出一個與待測樣本最相近 的 “模板” 與之比較, 根據像素或特征的差異性實現缺陷的檢出與定位. 根據比較維度的不同, 本文將 方法劃分為基于圖像相似度的方法與基于特征相似度的方法.

4864a4fe-0f1b-11ed-ba43-dac502259ad0.jpg

4872a4fa-0f1b-11ed-ba43-dac502259ad0.jpg

3.3 少量缺陷標注

實際工業場景的情況往往介于上述兩種設置之間. 不僅可以獲得相對充分的正常樣本, 還可以事 先收集少量缺陷樣本, 并進行標注. 即使缺陷樣本只有粗粒度的標注也能為檢測性能帶來提升, 因此 純粹的有監督與無監督方法均難以充分利用提供的數據, 而不是最佳的解決方案. 此時, 面對樣本稀少、數據不均衡、標注不精確等問題, 研究者們嘗試基于小樣本、半監督和弱監督的設置來設計更加合理的方法.

4881bfda-0f1b-11ed-ba43-dac502259ad0.jpg

04輔助技術

檢測方法設計不僅要考慮方法本身的檢測精度, 還需要根據實際情況, 利用一些輔助技術幫助其 投入產業使用. 對此, 本文主要綜述 3 種關鍵的輔助技術: 數據擴增旨在利用合成等手段增加樣本的 多樣性, 以提升有監督和自監督方法的性能; 輕量化技術關注模型在實際部署時的時間與空間復雜度, 幫助模型在低功耗設備上達到實時檢測的水平; 閾值設置是區分正常與異常樣本的關鍵, 合適而可控 的閾值設置有助于方法實現較高的實際性能。

05數據集與性能評估

5.1 常用數據集

當前常被用于工業缺陷檢測研究的數據集如表 3 [19, 30, 39, 173~182]1)所示. 本文具體介紹近年提出的契合不同任務設置的典型數據集.

488bb080-0f1b-11ed-ba43-dac502259ad0.jpg

48983a12-0f1b-11ed-ba43-dac502259ad0.jpg

5.2 評價指標

由于分類與分割通常在工業缺陷檢測中具有較大的實用價值, 本文主要介紹這兩類任務的評價 指標. 分類的性能通常采用準確率 (accuracy)、精確率 (precision) 和召回率 (recall) 進行評估. 準確率指所有預測正確的類占全部的比重; 精確率也被稱查準率, 指預測為缺陷的樣本中正確預測所占的比例; 召回率也被稱為查全率、真陽性 率 (true positive rate, TPR), 指所有缺陷中被正確檢出的比例. 在實際應用中, 往往還會關注誤檢率 (false drop rate, FPR) 與漏檢率 (false negatives rate, FNR), 它們衡量模型的不足之處。像素級缺陷定位的任務可視為前景與背景的兩類分割問題. 當輸出的異常分數圖是表示對應像素 為缺陷概率的熱力圖時, 需要對其設定相應閾值獲得二值化分割結果. 因此, 分割指標也可分為固定 閾值的指標和與閾值無關的指標。

06總結與展望

6.1 總結

作為工業視覺的核心技術, 基于視覺的工業缺陷檢測因其廣泛而重要的應用價值, 逐漸成為炙手 可熱的新興研究問題之一. 近年來已經涌現出大量的新理論和新方法, 并已逐漸投入實際產業. 本文對 該領域的任務定義、研究難點、檢測方法、輔助技術、常用公開數據集、評價指標與典型方法性能等 進行了綜合梳理, 重點綜述了深度學習方法的重要進展然而, 盡管目前工業缺陷檢測方法已在部分工業數據上表現出較高的性能, 但現有研究依然存在 很大的局限性, 限制了相關方法的進一步研究與落地.

6.1.1 更貼近實際的任務設置

基于有監督的缺陷檢測方法已逐漸趨于成熟, 展現出了優越的性能. 但是有監督方法依賴于大規 模帶有精確標注數據的支持, 而數據的搜集與標注過程成本高昂, 使之無法與實際工業場景完全吻合. 同時, 有監督方法無法處理新類別缺陷的檢測問題. 無監督方法雖然大大降低了數據標注的需求, 也 能檢測未知型缺陷, 但是在定位性能與可解釋性方面仍然無法替代有監督方法. 在實際生產環境中, 少量缺陷標注的情況更加常見. 用戶不僅可以提供大量的正常樣本, 同時也 能提供少量具有精確或粗糙標注的缺陷樣本. 相比于上述兩種設置, 小樣本、半監督和弱監督的方法 更加貼合工業場景, 可以更加充分地利用資源, 因而其關注度迅速增加. 目前, 這些方法仍然處于發展 的初期, 仍有待進一步的研究與發展.

6.1.2 缺乏完備的數據集

數據集是深度學習方法研究的基礎. 目前常用于工業缺陷檢測任務的數據集主要存在著背景類型 單一、缺陷種類單一等不足, 無法模擬現實中復雜的檢測場景. 在實際工業生產過程中, 所拍攝的產品 圖像也可能來源于不同的成像條件、不同的拍攝角度或者不同制程, 在同一產品上也會出現不同類型 的缺陷. 構建更貼近實際工業場景與任務設置的數據集不僅有助于更加實用的算法的開發, 也有助于 算法實際部署. 例如, 多重成像的數據集可以將在一種成像條件下難以被發現的缺陷在另一成像中凸 顯, 從而給缺陷發現帶來了便利. 工業缺陷檢測方法在無人巡檢、異常溯源等延伸性工作的性能也需 要經過相應數據集的檢驗. 因此, 新數據集的建立與完善也非常重要, 只有構造出合適的數據集, 才能 支撐各種新場景、新任務和新設置下方法的發展.

6.2 展望

除了上述總結的目前研究中的不足, 該領域還有許多極具潛力的研究方向有待進一步探索.

6.2.1 神經架構搜索

現有的基于深度學習的方法大多依靠手工設計深度神經網絡, 依照經驗設置超參數. 因此, 現有 的模型結構可能并非面向工業缺陷檢測的最優解. Rippel 等 [132] 比較了多種基礎網絡對模型性能的 影響, 其中基于自動機器學習 (automated machine learning, AutoML) 獲得的 EfficientNet [187] 的性能 優于人工設計的 ResNet [188] . EfficientNet 高效的網絡結構與 Swish 激活函數被認為是提升性能的主要原因. 相比于其他通用的視覺檢測任務, 大部分工業視覺的使用場景更加具體, 利用神經架構搜索 (neural architecture search, NAS) 的方法自動搜索針對特定任務場景的最優模型是一種可行的解決方案, 不僅有助于彌補人工經驗設置的不足, 還能提升模型的效率. AutoOD [189] 基于 NAS 搜索 AE 架 構的模型參數, 實現了優于手工模型的檢測性能. 然而, 目前 NAS 在無監督與半監督設置中的應用尚 少, 未來可能在工業視覺領域的相關任務上得到發展.

6.2.2 Transformer 的應用

近年來, Transformer 模型 [190] 被引入到計算機視覺領域, 并在多種視覺任務上展現出優越的性 能[191~195] . 相比于 CNN 關注局部特征關系, 視覺 Transformer 利用注意力機制, 可以建模圖像中的長距離關系. Xie 等 [196] 將高效的 Swin Transformer[194] 改進后用于有監督的太陽能電池板的缺陷檢測.其增加窗間注意力來增強全局語義特征的提取, 用多尺度聚合模塊結合不同層級的特征, 實現了較高的分類性能.

然而, Transformer 模型的性能優勢通常需要足夠的訓練數據支撐, 而大部分工業缺陷檢測場景難以獲取充足的缺陷數據. 因此, 研究者們嘗試在無監督設置下引入 Transformer, 一般將其用于基于圖像相似度的方法. Mishra 等 [180] 將基于圖像重建模型的編碼器改為 Transformer 結構, 以增強全局特征的提取能力. 同時, 用 GMM 對 Transformer 的編碼結果進行密度估計. 在測試階段, 根據 GMM 對圖像塊的密度估計結果進行缺陷定位, 同時結合重建誤差實現圖像級分類. Pirnay 等 [157] 認為在基于圖像復原任務的缺陷檢測方法 [114] 中, 長距離信息有利于高質量的圖像復原, 從而提升缺陷分割能力, 因而將 CNN 替換為 Transformer, 根據周圍信息來復原圖像塊, 最終根據重建誤差進行缺陷分割. Pinaya 等 [197] 首先訓練 VQ-VAE [198] 對圖像進行離散編碼, 然后利用多個高效的 Transformer 模型 Performer [195] 對不同順序的離散編碼進行自回歸建模. 最終基于重建誤差和隱空間編碼的似然 進行異常分割, 從而減少誤檢.

Transformer 具有全局關系建模的能力, 且具有更好的可解釋性 [199] . 但是其對計算資源的需求也 相應增大, 對工業場景的低開銷需求提出挑戰. 目前也有相關工作繼續在高效 Transformer 模型[194, 195] 與小數據集 [199] 的應用上進行探索. 盡管目前 Transformer 在工業缺陷檢測領域的實用性還尚未得到 充分探索, 但現有研究已經指出了 Transformer 的潛力.

6.2.3 多重成像與多模態

早期的工業缺陷檢測方法利用光學方法提升缺陷的顯著性, 從而使其易于被檢出. 事實上, 工業 缺陷的種類千差萬別, 可能存在各自適合的成像方式, 因此, 利用不同成像條件的差異產生區分力是 一個具有潛力的方案. 在實際場景下, 紅外線、X 射線等其他成像方式可能適合特定產品的質檢任務; 結構光、激光等方式獲得的 3D 信息還能進一步提升產品結構性缺陷的表達能力. 目前大部分的方法 僅關注于單一的 RGB、灰度圖像或其他成像形式的輸入. 為了綜合不同成像條件的感知能力, 模型可 以進一步考慮融合多模態數據的特征來增強檢測性能, 以應對更復雜的場景.

6.2.4 更具可解釋性的方法

盡管深度學習極大地促進了工業缺陷檢測的發展, 新興的方法擁有卓越的檢測性能, 但是不少方 法仍缺乏完備的可解釋性. 許多基于無監督的方法還依賴大量的經驗性假設. 對模型解釋性的研究不 僅有助于人們理解模型工作機制, 還能促進新型方法的研發. 從輔助人工檢測的角度而言, 建立人機 互信在實際應用落地的推進中至關重要. 因此, 置信度預測 [200] 和模型可視化等模型理解的研究不只 在工業缺陷檢測領域, 也在整個人工智能領域極具意義.

6.2.5 在線學習與聯邦學習

現有方法大多采用離線學習的方法, 即預先根據對應所給數據集訓練模型, 然后部署到產線中. 但 由于訓練初期通常缺乏有標簽的缺陷樣本, 部署時模型的實際性能難達最佳. 在實際應用中, 產線可 以不斷地提供新樣本, 也可能發現新的缺陷類型. 因此, 運用在線學習的方法對模型進行快速實時的 調整也將成為后續研究與應用的重點之一. 由于某些產品及其缺陷存在一定的共性特征, 結合不同生 產線上的樣本有助于充分訓練與調整模型. 考慮到工業數據往往容易涉及隱私問題, 引入聯邦學習的 框架有助于在保障各個合作者隱私安全的前提下, 有效地結合各方的樣本數據.

審核編輯:湯梓紅

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 缺陷檢測
    +關注

    關注

    2

    文章

    143

    瀏覽量

    12252
  • 深度學習
    +關注

    關注

    73

    文章

    5507

    瀏覽量

    121266

原文標題:工業缺陷檢測深度學習方法綜述

文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    labview缺陷檢測算法寫不出來?你OUT了!直接上深度學習吧!

    傳統視覺對于缺陷檢測有先天性的不足,當缺陷區域與正常區域灰度接近,沒有明確的邊界曲線時,往往無法將缺陷檢測出來,而
    發表于 08-16 17:29

    labview深度學習應用于缺陷檢測

    標注產品后通過訓練平臺完成模型訓練經過少量樣品訓練得到測試結果,表明深度學習對傳統視覺算法比較棘手的缺陷檢測方面,能簡單粗暴的解決問題,后續就是增加
    發表于 08-16 18:12

    基于深度學習的異常檢測的研究方法

    異常檢測深度學習研究綜述原文:arXiv:1901.03407摘要異常檢測是一個重要的問題,在不同的研究領域和應用領域都得到了很好的研究。本文的研究目的有兩個:首先,我們對基于
    發表于 07-12 07:10

    基于深度學習的異常檢測的研究方法

    ABSTRACT1.基于深度學習的異常檢測的研究方法進行結構化和全面的概述2.回顧這些方法在各個領域這個中的應用情況,并評估他們的有效性。3
    發表于 07-12 06:36

    labview深度學習PCB插件光學檢測

    `labview在檢測PCBA插件的錯、漏、反等缺陷中的應用檢測原理通過高精度彩色工業相機不停板實時抓取板卡圖像,采取卷積神經網絡算法處理圖像,智能判定元器件不良。采用最新的
    發表于 07-13 15:27

    基于深度學習和3D圖像處理的精密加工件外觀缺陷檢測系統

    缺陷空間,共同識別檢測缺陷,增加缺陷識別檢測的準確性; 創新點二:在實際工業生產場景上應用
    發表于 03-08 13:59

    基于深度學習的小樣本墻壁缺陷目標檢測及分類

    近年來,無需人工干預的深度學習已經成為缺陷圖像檢測與分類的一種主流方法。本文針對室內墻壁缺 陷缺檢測
    發表于 04-24 09:44 ?1次下載

    基于深度學習的焊接焊點缺陷檢測

    深度學習主要包含卷積神經網絡和Faster R-CNN兩種網絡模型,通過利用算法模型自動學習的特點,不再受限于復雜多變的環境,可自動提取缺陷特征,最終實現自動
    的頭像 發表于 10-19 15:08 ?2676次閱讀

    一文梳理缺陷檢測深度學習和傳統方法

    但由于缺陷多種多樣,傳統的機器視覺算法很難做到對缺陷特征完整的建模和遷移,所以越來越多的學者和工程人員開始將深度學習算法引入到缺陷
    的頭像 發表于 02-13 15:39 ?1278次閱讀

    工業產品表面缺陷檢測方法研究

    、形狀特征三個方面總結了傳統機器視覺表面缺陷檢測方法工業產品表面缺陷檢測中的應用。其次,從監督
    的頭像 發表于 08-17 11:23 ?1068次閱讀
    <b class='flag-5'>工業</b>產品表面<b class='flag-5'>缺陷</b><b class='flag-5'>檢測</b><b class='flag-5'>方法</b>研究

    瑞薩電子深度學習算法在缺陷檢測領域的應用

    浪費大量的人力成本。因此,越來越多的工程師開始將深度學習算法引入缺陷檢測領域,因為深度學習在特征
    的頭像 發表于 09-22 12:19 ?908次閱讀
    瑞薩電子<b class='flag-5'>深度</b><b class='flag-5'>學習</b>算法在<b class='flag-5'>缺陷</b><b class='flag-5'>檢測</b>領域的應用

    深度學習工業缺陷檢測中的應用

    工業制造領域中,產品質量的保證是至關重要的任務之一。然而,人工的檢測方法不僅費時費力,而且容易受到主觀因素的影響,從而降低了檢測的準確性和一致性。近年來,基于
    的頭像 發表于 10-24 09:29 ?1592次閱讀
    <b class='flag-5'>深度</b><b class='flag-5'>學習</b>在<b class='flag-5'>工業</b><b class='flag-5'>缺陷</b><b class='flag-5'>檢測</b>中的應用

    基于深度學習的芯片缺陷檢測梳理分析

    雖然表面缺陷檢測技術已經不斷從學術研究走向成熟的工業應用,但是依然有一些需要解決的問題。基于以上分析可以發現,由于芯片表面缺陷的獨特性質,通用目標
    發表于 02-25 14:30 ?1576次閱讀
    基于<b class='flag-5'>深度</b><b class='flag-5'>學習</b>的芯片<b class='flag-5'>缺陷</b><b class='flag-5'>檢測</b>梳理分析

    基于AI深度學習缺陷檢測系統

    工業生產中,缺陷檢測是確保產品質量的關鍵環節。傳統的人工檢測方法不僅效率低下,且易受人為因素影響,導致誤檢和漏檢問題頻發。隨著人工智能技術
    的頭像 發表于 07-08 10:30 ?1502次閱讀

    深度學習工業機器視覺檢測中的應用

    隨著深度學習技術的快速發展,其在工業機器視覺檢測中的應用日益廣泛,并展現出巨大的潛力。工業機器視覺檢測
    的頭像 發表于 07-08 10:40 ?1105次閱讀
    主站蜘蛛池模板: 一区二区三区国产亚洲网站| BT7086福利二区最新| 亚洲午夜久久久无码精品网红A片| xxx免费观看| 国产AV精品国语对白国产| 欧美黑人巨大videos免费| 日日射日日操| 一个人在线观看免费高清视频| 郭德纲于谦2012最新相声| 日本xxxx裸体xxxx| 亚洲免费观看视频| 国产三级在线免费| 免费一区二区三区久久 | 成人毛片免费播放| 果冻传媒在线完整免费播放| 午夜福利视频极品国产83| 国产精品久久久久一区二区三区 | yellow日本动漫高清| 欧美性猛交XXXX乱大交极品| 亚洲国产中文字幕新在线| ava云直播| 日本68xxxxxxxxx老师| 白丝高中生被c爽哭| 三色午夜秀| 国产精品悠悠久久人妻精品| 亚洲精品久久久992KVTV| 精子射到丝袜上图| 亚洲高清在线天堂精品| 国语对白刺激真实精品| 在线亚洲专区中文字幕| 国产蜜臀AV在线一区视频| 亚洲AV无码专区国产乱码网站| 国产一区二区高清| 色欲狠狠躁天天躁无码中文字幕 | 舔1V1高H糙汉| 国产亚洲欧美在线中文BT天堂网 | 奶水太多h室友| 粗好大用力好深快点漫画| 猫咪最新破解版下载| asmr淫语| 小雪奶水涨翁工帮吸的推荐语录|