異常檢測是什么？

“異常值（又名異常）是數(shù)據(jù)集中的觀察結果，它似乎與該數(shù)據(jù)集的其余部分不一致”——約翰遜 1992 年

“離群值是一種觀察結果，它與其他觀察結果的偏差如此之大，以至于引起人們懷疑它是由不同的機制產生的”——霍金斯 1980

異常是與常態(tài)不同、很少發(fā)生并且不符合“模式”其余部分的事件。異常包括，例如：

• 全球事件導致股市大幅下跌和上漲
• 工廠或傳送帶上的故障產品
• 污染的實驗室樣本

為什么要進行異常檢測？

計算機視覺中如何使用異常檢測？

一級圖像處理方法

基于傳統(tǒng)的圖像處理技術，例如邊緣檢測、特征檢測……和測量指標（例如，大小、顏色、位置、周長、圓度、形狀……）來描述一個物體 。

優(yōu)點：無需培訓

缺點：沒有概括性

二級機器學習方法

機器學習算法使用計算方法直接從數(shù)據(jù)中“學習”信息，而不依賴于預先確定的方程式作為模型。

優(yōu)點：更少的培訓

缺點：泛化程度較低

3 級深度學習方法

基于卷積神經網(wǎng)絡檢測異常值。訓練和推理需要大數(shù)據(jù)集和高效的硬件

優(yōu)點：更泛化

缺點：更多培訓

小伙伴可能會問“我們應該選擇哪種方法呢？” 即使我們的問題與上面的情況完全不同也不必擔心，我們提供一個選擇的原則：

1. 從圖像處理方法開始。如果數(shù)據(jù)具有低可變性，這可以提供可靠的解決方案。
2. 在變量生產下，如果你有一個強大的 GPU 和大量標記的數(shù)據(jù)/圖像。然后，深度學習技術可以更好地處理更多數(shù)據(jù)，而 GPU 有助于減少訓練模型所需的時間。如果不是，那么 ML 方法是最佳選擇。

異常檢測和數(shù)據(jù)

異常檢測將如何在三種不同的情況下發(fā)生，具體取決于數(shù)據(jù)的情況。

監(jiān)督：

在這種情況下，訓練數(shù)據(jù)被標記為“好”或“異常”（壞）。監(jiān)督場景是理想的。這是為數(shù)據(jù)科學家精心準備的數(shù)據(jù)集，其中所有數(shù)據(jù)點都標記為異常或良好的情況。

資源用于結構化數(shù)據(jù)的流行 ML/DL 算法：

• 支持向量機學習
• k 最近鄰 (KNN)
• 貝葉斯網(wǎng)絡
• 決策樹

半監(jiān)督：

在半監(jiān)督場景中，所有數(shù)據(jù)都被假定為“好”，并且被“異常”（壞）數(shù)據(jù)點污染。

用于結構化數(shù)據(jù)的流行 ML/DL 算法：

• 自動編碼器
• 一類 SVM
• 高斯混合模型
• 核密度估計

無監(jiān)督：

在無監(jiān)督場景中，訓練數(shù)據(jù)是未標記的，由“好”和“異常”（壞）數(shù)據(jù)點組成。無監(jiān)督場景中的數(shù)據(jù)集沒有將其部分標記為好或壞。

“無監(jiān)督學習中最常見的任務是聚類、表示學習和密度估計。在所有這些情況下，我們都希望在不使用明確提供的標簽的情況下了解數(shù)據(jù)的固有結構。”

在無監(jiān)督場景中，需要一組不同的工具來在非結構化數(shù)據(jù)中創(chuàng)建順序。非結構化數(shù)據(jù)的流行 ML/DL 算法是：

• 自組織映射 (SOM)
• K 均值
• C 均值
• 期望最大化元算法 (EM)
• 自適應共振理論 (ART)
• 一級支持向量機

異常檢測示例

App1：使用機器學習技術對無人機進行實時退化識別（Real time degradation identification of UAV using machine learning techniques）

在本文中，作者分析了無人機執(zhí)行預定任務后的飛行數(shù)據(jù)流，并實時預測身體部位（在本例中為螺旋槳）的退化程度。

為了實現(xiàn)這一目標，他們使用 k 最近鄰算法作為分類算法，并使用動態(tài)時間規(guī)整作為距離度量來計算兩個航班塊之間的相似性。

App2：UAV-AdNet：使用深度神經網(wǎng)絡進行空中監(jiān)視的無監(jiān)督異常檢測（

UAV-AdNet: Unsupervised Anomaly Detection using Deep Neural Networks for Aerial Surveillance）

在本文中，作者提出了一種用于鳥瞰圖像環(huán)境表示的啟發(fā)式方法和一種基于 DNN 的異常檢測方法 (UAV-AdNet)，該方法在環(huán)境表示和 GPS 標簽上聯(lián)合訓練。

在他們的實驗中，他們證明了所提出的架構在輸入的復制和裁剪連接下具有更好的場景重建性能。他們還觀察到，為網(wǎng)絡提供 GPS 數(shù)據(jù)可以增強異常檢測性能。

在他們的研究中，作者考慮了以下異常情況：

(1) 違反私人規(guī)則的物體：建筑物背面出現(xiàn)任何人或車輛。建筑物左側出現(xiàn)任何車輛

（2）違反公共規(guī)則的物體：行人只能使用斑馬線過馬路。自行車只能在自行車道上行駛。除自行車和摩托車外，其他車輛不得在自行車道上騎行或停放。

（3）尋找可疑物品

App3：監(jiān)控環(huán)境中無人機錄制的視頻中的異常檢測（Anomaly Detection in Videos Recorded by Drones in a Surveillance Context）

本文專門研究了監(jiān)視環(huán)境中的異常檢測，特別是針對由無人機錄制的監(jiān)視視頻組成的微型無人機視頻數(shù)據(jù)集。本文提出的模型在 MDV 數(shù)據(jù)集上進行了評估。

盡管它很簡單，但該模型達到了最先進的性能。獲得的結果表明，這種應用程序的監(jiān)督學習不太適合異常檢測。因為該模型未能檢測到它在 MDV 數(shù)據(jù)集訓練期間從未遇到過的情況，這是有問題的，因為即使不是不可能，也很難編譯代表許多實例的所有可能異常的數(shù)據(jù)集。

建議的異常檢測器是由卷積神經網(wǎng)絡和遞歸神經網(wǎng)絡組成的深度神經網(wǎng)絡，使用監(jiān)督學習進行訓練。在他們未來的工作中，他們將專門檢查使用無監(jiān)督學習訓練的模型設計，以減少對標記異常數(shù)據(jù)的需求。

App4：使用航空紅外熱成像技術自動檢測光伏電站：綜述（Automatic Inspection of Photovoltaic Power Plants Using Aerial Infrared Thermography: A Review）

提出一種使用空中紅外視頻進行自動光伏電站檢查的有效方法。

本文對光伏電站航空紅外熱成像 (aIRT) 框架不同任務自動化方法的文獻進行了全面回顧，因為這是近年來研究人員深入研究的課題。這些研究大多集中在視覺、IRT 和 aIRT 圖像中光伏電站的自主故障檢測和分類。在這些研究中，DL 算法的使用提供了良好的結果，在從 aIRT 圖像中提取的模塊段中檢測到的 10 種不同異常類型的故障檢測和分類中，準確率高達 90%。

然而，所開發(fā)算法的準確性、魯棒性和泛化性仍然是這些研究的主要挑戰(zhàn)，尤其是在處理更多類別的故障和大型光伏電站的檢查時。隨著公用事業(yè)規(guī)模光伏電站的容量和規(guī)模不斷增加，達到千兆瓦和數(shù)百公頃的規(guī)模，自動化越來越成為一個不僅具有科學意義而且具有經濟重要性的問題。因此，仍然必須探索自主程序和分類任務，以提高 aIRT 方法的準確性和適用性。