一、研究的背景與問題

鋼板表面缺陷檢測技術始于20世紀50年代，從人工檢測到現在的機器視覺檢測，共經歷60多年的發展，按時間的先后順序大致可以分為非自動化檢測、自動化檢測和機器視覺檢測共三個階段。

非自動化檢測階段，主要依靠人工目視法和頻閃檢測法。這兩種方法的檢測率較低、實時性較差，遠不能滿足生產線高速的生產節奏，而且缺乏科學性和規范性，致使傳統的非自動化檢測方法無法適應現代化工業生產的需要。

自動化檢測階段，主要采用渦流檢測法、紅外檢測法和漏磁檢測法等。這些方法受自身檢測原理的限制，不能檢出所有類型的缺陷，在很多場合不能直接使用。

機器視覺檢測階段，采用機器視覺代替人工視覺進行檢測。該檢測技術具有受環境電磁場影響小、工作距離大、測量精度高和易于實現智能化等優點，已經成為板帶材表面質量監控的重要先進手段與技術，更適合于自動化生產線上的在線檢測。

中厚板鋼板是鋼鐵工業的重要產品之一，主要用于航空航天、橋梁建造、汽車制造以及國防裝備等領域。在軋制過程中，與冷軋薄板相比，中厚板需要采用熱軋工藝，軋制溫度更高、環境也更加惡劣，國內外尚無成功的熱軋鋼板表面在線無損檢測的成功案例，其主要原因是面臨以下難題：

1、熱軋環境下鋼板表面容易產生霧化效果，并且光線傳播容易變形，利用攝像頭進行采集的時候容易發生光線偏移，造成圖像變形或者影響圖像的整體質量，增加圖像中的噪聲。

2、受環境、光照、生產工藝和噪聲等多重因素影響，檢測系統的信噪比一般較低，微弱信號難以檢出或不能與噪聲有效區分。如何構建穩定、可靠、精準的檢測系統，以適應光照變化、噪聲以及其他外界不良環境的干擾，是要解決的問題之一。

3、由于檢測對象多樣、表面缺陷種類繁多、形態多樣、背景復雜，對于眾多缺陷類型產生的機理以及其外在表現形式之間的關系尚不明確，致使對缺陷的描述不充分，缺陷的特征提取有效性不高，缺陷目標分割困難；同時，很難找到“標準”圖像作為參照，這給缺陷的檢測和分類帶來困難，造成識別率尚有待提高。

4、從機器視覺表面檢測的準確性方面來看，盡管一系列優秀的算法不斷出現，但在實際應用中準確率仍然與滿足實際應用的需求尚有一定差距，如何解決準確識別與模糊特征之間、實時性與準確性之間的矛盾仍然是目前的難點。

二、解決問題的思路與技術方案

為了改進現場人工檢測方法存在的漏檢率高、鋼板質量依賴于質檢員經驗等問題，在南鋼中厚板廠建立一套基于機器視覺技術的鋼板表面缺陷檢測系統，該系統包含三大模塊：（1）用于高速采集上下表面圖片的光學設備，同時包含對灰塵鐵屑等的自動清掃裝置；（2）機器視覺算法后臺：利用深度卷積神經網絡自動提取圖像中各目標區域的特征，然后對各目標區域進行分類驗證，以檢測該區域是否包含某類缺陷的特征；（3）系統管理及展示平臺：鋼板實時檢測情況展示并對記錄的缺陷圖片以及對應鋼板位置進行管理。

1、上下表檢圖片采集系統

本項目拍攝系統方案為在現有中厚板產線輥道的上下兩端分別布置一套照明和成像系統，以同時檢測輥道上鋼板上下兩個表面的缺陷。同時，要求拍攝成像系統能拍攝完整、清晰的視頻和照片，并保持穩定可靠運行，有效應對現場不同自然光照條件、四季不同環境溫度。此外，系統要可自動應對氧化鐵皮掉落、玻璃防結霧、揚塵等所有影響拍攝的環境因素干擾。

為實現上述目標，本項目的拍攝系統設計如下圖1所示，包括上表檢系統和下表檢系統。

圖1上表檢和下表檢圖像采集方案示意圖

（1）上表檢圖像采集系統。上表檢照明和成像系統如圖3-2所示，放置在上相機箱體內，箱體采用密閉結構，前端面鑲嵌玻璃，方便光源照明和相機成像，上相機箱體放置在上表檢室內。上表檢室是密閉的，如圖3-3所示，其前端是隔熱玻璃和吹掃結構，保持玻璃面的干凈。上表檢室內還放置有空調系統，用于降低上表檢室內的溫度，提高照明和成像系統的穩定性。

圖2上表檢成像系統示意圖

圖3上表檢室外觀示意圖

（2）下表檢圖像采集系統。下表檢照明和成像系統如圖3-4所示，放置在下相機箱體內，箱體采用密閉結構，前端面鑲嵌玻璃，玻璃的外表面安裝吹掃結構，可保持玻璃面的干凈，下相機箱體放置在下表檢室內。如圖3-5所示，下表檢室也是密閉的，其前端是隔熱玻璃，隔熱玻璃傾斜一定的角度安裝，玻璃上部布置有吹掃管，下部安裝吸塵裝置和收集裝置，一吹一吸的氣簾可將掉落在隔熱玻璃表面的氧化鐵皮及灰塵等及時收集到布塵袋中，由此保證鋼板下表面表檢系統的有效性。下表檢室內還放置有空調系統，用于降低下表檢室內的溫度，提高照明和成像系統的穩定性。

圖4下表檢成像系統示意圖（鋼板從左向右運動）

圖5下表檢室外觀示意圖

（3）玻璃防結霧設計。由于上、下表檢系統均采用密閉結構，因此，相機在透過墻面拍攝輥道上的鋼板圖像時，需要開設透光口，并采用玻璃對透光口進行密封，由于上表檢室、下表檢室與外部有溫度差，則造成了密封玻璃容易起霧，影響系統的正常使用。

本項目采用吹風的方式除霧，當風吹到玻璃表面，玻璃表面小水珠流動性加快，不容易液化到玻璃表面，且吹風可以加速玻璃表面液體的蒸發，因此玻璃表面不容易起霧，考慮到熱軋板表檢裝置所處的環境，本項目將在上、下表檢室觀察玻璃靠近熱軋板的一側安裝風簾裝置，通過不斷的吹風來避免結霧現象的產生。

（4）基于“線陣CCD+自適應LED光源”的拍攝系統。鋼板表面的靠近邊緣的部分，由于其漫反射的強度和漫反射角度相關，因而造成光強損失，導致帶材邊緣圖像的灰度值減弱。本項目首次在熱軋鋼板表面檢測中采用“線陣CCD+自適應LED光源”的圖像采集方案，將高亮度的藍色光照射到熱軋鋼板表面，并通過線陣CCD攝像機采集熱軋鋼板表面圖像，解決了遠距離均勻照明的問題，提高了圖像的對比度。同時，通過對CCD進行PRNU（圖像不均一響應）標定和軟件增益補償，實現光強平衡，使得整體成像灰度更加均勻，以便于后續的圖像處理。

（5）拍攝系統防塵設計。熱軋鋼板廠區環境十分惡劣，既有高溫輻射，又有粉塵彌漫，上表檢室、下表檢室透光口處的密封玻璃極容易被粉塵遮擋，影響圖像的正常拍攝，尤其是位于輥道下方的下表檢系統，落灰現象十分嚴重。因此，本項目中，考慮上表檢、下表檢受粉塵的不同影響，分別設計了上表檢和下表檢的防塵系統。

①上表檢防塵方案。考慮到廠房內有灰塵，將上表面的照明和成像系統密封在箱體內，如圖3-6～3-8所示，作用面鑲嵌玻璃，不阻礙光源的照明和相機的成像。同時在玻璃的外側設計清灰刷，通過無桿氣缸帶動清灰刷在玻璃上左右運動，刮除玻璃表面上粘附的灰塵。清灰的時間間隔可以根據產線的具體情況來靈活設置。若現場灰塵吸附玻璃表面，考慮加清潔劑或高壓氣槍的方式進一步清理。

圖6上表面除塵裝置

圖7上表面除塵裝置

圖8無桿氣缸除塵擦

②下表檢防塵方案。對于下表檢系統的防塵，綜合設計了三個措施來解決該問題：

A、在表檢系統的前一個滾輪間隙處安裝鋼絲滾刷，將即將剝離的環氧鐵皮刮下，同時考慮加強機械設計來保證鋼絲滾刷與鋼板的接觸良好。

B、下表檢室的側面安裝隔熱玻璃來作為下表檢系統的照明和成像窗口，隔熱玻璃的角度盡量大，以降低鐵皮堆積的可能性，同時在隔熱玻璃的上部布置有一個氣簾裝置，通過不停的吹風，可將掉落在隔熱玻璃表面的氧化鐵皮及灰塵等及時吹掉，也可以給隔熱玻璃降溫。

C、在隔熱玻璃的外表面安裝清灰刷裝置，可將氣簾未吹走的鐵皮、灰塵等刮掉。

（6）基于幀同步技術的拍攝系統自動啟閉設計。鋼板在輥道上輸送過程中，為實現鋼板來時點亮光源、相機輸出圖像；鋼板走時關閉光源、相機不輸出圖像的智能控制功能，從而降低功耗、節能環保，本項目系統采用了鋼板位置自反饋設計。

熱軋板在運行過程中速度不是一成不變的，會發生一定的變動，如果從始至終都用一個行頻來采集熱軋板的圖像，將會導致所采集到的熱軋板圖像存在一定程度的失真。為此本項目將采用編碼器來實時獲取熱軋板的運行速度，并反饋控制相機的掃描行頻，來確保采集到的圖像不失真。

拍攝啟動自反饋：由于熱軋板較大較重，不易滑動，因此可以認為圓輥表面的線速度與熱軋板的線速度是一致的，使用時將接觸式碼盤編碼器固定在輥軸上，可以實時監測圓輥的角速度，進而計算出圓輥表面的線速度，從而得到熱軋板的運行速度。編碼器的信號實時控制圖像采集相機的掃描行頻，實現采集系統和鋼板運行速度的自適應。

拍攝關閉自反饋：通過架設在鋼板輥道上的紅外傳感器，進行延遲關閉。

2、機器視覺算法后臺

應用深度學習中的深層卷積神經網絡和大數據統計技術對缺陷進行檢測識別。針對熱軋鋼板表面狀況復雜的特點，采用形態濾波與神經網絡等方法開發了熱軋鋼板表面缺陷的檢測與識別算法，解決了水、氧化鐵皮與光照不均現象引起的“誤識”問題，大幅提高鋼板表面缺陷識別檢出率和檢測準確率，達到國際先進指標。

3、系統管理及展示平臺

對接現場MES系統，向用戶展示拼接后的鋼板表面的圖片以及缺陷情況，同時，展示系統與現場板號跟蹤系統對接，根據每塊鋼板的鋼板號對其缺陷情況進行記錄，最終向用戶反饋對應板號的鋼板缺陷情況，并進行現場缺陷報警警示。缺陷展示頁面如圖3-9所示：

圖9缺陷展示頁面示意圖

三、主要創新性成果

1、可實現熱軋鋼板上下表面在線缺陷檢測的方案設計

系統安裝在軋鋼輥道上，工位在定尺剪后、標印機前方，實現熱軋鋼板表面缺陷的實時在線檢測。同時，在輥道上下兩端分別布置一套照明和成像系統，可同時檢測鋼板上下兩個表面的缺陷。

2、可實現實時精確反饋的yolov4優化算法

對Yolov4神經網絡的主干網絡進行改進，替換主干網絡，降低其參數量；對Yolov4神經網絡的SPP池化層結構進行優化，豐富缺陷特征，降低計算量，提高運算速度和準確率，最終實現檢出率可達98%及以上，并使人工智能算法的識別速度與現場生產節奏保持一致。

3、基于“線陣CCD+自適應LED光源”的拍攝系統

由于不同鋼板的表面粗糙度、材質略有不同，對光線的反射程度會有變化，導致不同鋼板圖片的亮度差異大。項目采用高亮度的藍色光照射到熱軋鋼板表面，并通過線陣CCD攝像機采集熱軋鋼板表面圖像，解決了遠距離均勻照明的問題，提高了圖像的對比度。同時表檢系統會根據拍攝狀況隨時調整LED光強，以達到最佳拍攝效果。

4、拍攝系統防塵設計

由于生產現場伴有高溫粉塵等惡劣條件，對相機采集圖像影響嚴重，因此需要針對上、下表檢的不同情況，分別設計防塵清灰結構。本項目重點針對位于輥道下方的下表檢設計了防塵清灰結構，一方面，通過自動運動的吸塵管道，對透光玻璃的表面進行自動清掃，另一方面，增加有角度傾斜玻璃罩，灰塵鐵屑滑落后輸送到特定位置清理，并根據現有溫度狀況進行冷卻處理。

5、基于幀同步技術的拍攝系統自動啟閉設計

為保障拍攝系統能夠快速響應，其信號源使用自觸發功能實現“受控可變頻率輸出”。使用以太網觸發相機拍攝，外部觸發模式下可以優化丟幀、亂拍、圖片大小不同等情況。最終實現鋼板來：點亮光源、相機輸出圖像；鋼板走：關閉光源、相機不輸出圖像的智能控制功能，降低功耗、節能環保。

6、防扎板輥道設計采用八字板+小輥的結構設計，解決鋼板通過表檢處時，容易產生的扎板問題，適合在南鋼的場景下使用，減小鋼板摩擦，利于鋼板順利通過下表檢觀察口。

四、應用情況與效果

本項目已于2020年底，在南鋼中厚板卷廠成功實施，南鋼中厚板卷廠現有條件：鋼板寬度約為3300mm，長度不長于24m；板材厚為4mm-60mm；板材運行速度約為2m/s；鋼板的溫度約為200℃，外觀多為黑褐色。在此條件下，可以實現檢出率可達98%及以上，準確率可達90%及以上，并使人工智能算法的識別速度與現場生產節奏保持一致，達到國際先進水平。

檢出率和準確率的計算公式如下：

檢出率=算法模型檢出的真實的缺陷個數/人工檢出的真實的缺陷個數；

準確率=算法模型分類正確的缺陷個數/算法模型檢出的真實的缺陷個數。

本項目成功上線后平均每條生產線可節省人工3名/年，節約檢測成本數百萬元，同時可降低產品的質量異議。項目已成功申報發明專利1項，軟著1項。此外，本項目產品也成功榮獲江蘇省優秀人工智能產品、江蘇省人工智能學會技術創新獎。

審核編輯：郭婷