社區(qū)的智能守護者：利用識別技術(shù)的智能安全系統(tǒng)

智能社區(qū)安全

在討論人類社會的未來時，智慧社區(qū)的話題不容忽視。2020年5月，中國2020年國務(wù)院政府工作報告提出，重點支持“兩新一大”類型的智慧社區(qū)。

智慧社區(qū)可以包括新型基礎(chǔ)設(shè)施建設(shè)、新城建設(shè)和交通、水利等重大項目。前兩個——新基建和新城建設(shè)——以智慧社區(qū)為重點。

智能社區(qū)利用一系列新技術(shù)來改善和促進日常生活。除了無人社區(qū)超市，典型應(yīng)用還包括智能家居系統(tǒng)和自動泊車。在這些無數(shù)的應(yīng)用中，社區(qū)安全系統(tǒng)是最關(guān)鍵的。從鄰里和住宅樓門禁系統(tǒng)到整個社區(qū)的攝像頭網(wǎng)絡(luò)，智能系統(tǒng)可以代替保安人員執(zhí)行身份識別、鄰里監(jiān)視、危險警報等。

在美國，CBS 電視劇“疑犯嫌疑人”描繪了一個由配備強大功能的先進人工智能支持的安全系統(tǒng)。安裝在特定城市各處的攝像頭網(wǎng)絡(luò)可能能夠記錄全方位的信息，包括身份、行為甚至人際關(guān)系，而中央大腦會分析這些信息以確定威脅，甚至對潛在威脅做出預(yù)測。當(dāng)然，該劇近乎神明的人工智能系統(tǒng)目前還牢牢停留在科幻領(lǐng)域。但它所描繪的智能安防系統(tǒng)現(xiàn)在正在慢慢變成現(xiàn)實。在智慧社區(qū)和智慧城市中，智能安防系統(tǒng)可以作為結(jié)合人臉識別、行為識別和人類身份識別的人工智能系統(tǒng)。

人臉識別技術(shù)

基于計算機的面部識別技術(shù)的研究始于 20 世紀(jì)中葉。最早的努力是在模式識別上看到的，之后逐漸發(fā)展和完善了用于人臉檢測、人臉對齊、人臉屬性識別、人臉驗證和識別的各種算法。這些技術(shù)現(xiàn)在已經(jīng)廣泛應(yīng)用于日常生活中，包括手機和相機上的人臉抓拍軟件、上下班打卡的自動人臉識別，以及新建社區(qū)增加的配備人臉識別技術(shù)的門禁系統(tǒng)。

人臉檢測

開發(fā)面部識別算法的第一步是確定給定圖像或視頻中是否存在面部，并識別與所述面部相對應(yīng)的像素范圍。2001年，保羅·維奧拉和邁克爾·瓊斯共同發(fā)明了現(xiàn)在著名的維奧拉·瓊斯目標(biāo)檢測方法，該方法為后來的人臉檢測算法提供了基礎(chǔ)。

Viola-Jones 算法包括兩個部分：特征和分類器。該算法利用人臉的 Haar 特征，對應(yīng)于由模擬目標(biāo)不同部分之間的明暗關(guān)系的黑白矩形形成的特征。這些特征可用于尋找對象面部存在的明暗對比區(qū)域，例如比眼睛亮的鼻梁和通常比其他區(qū)域暗的嘴巴. 這些特征可用于匹配目標(biāo)圖像中的某些候選框，然后通過 AdaBoost 分類器輸出人臉或非人臉標(biāo)簽。值得注意的是，在 Viola-Jones 算法中，多個分類器被鏈接在一起形成一個集成分類器。

其他后續(xù)研究也基于特征和分類器解決了這個問題。在特征方面，今天的安全系統(tǒng)使用其他相對復(fù)雜的特征來代替Haar特征。這樣一方面可以提高系統(tǒng)的檢測率，另一方面。可以更好的解決被攝人臉沒有正對攝像頭導(dǎo)致檢測失敗的問題。在分類器方面，可以使用非最大抑制（NMS）方法將位置和大小相似的候選框組合起來，從而大量減少候選框的數(shù)量。相比之下，深度神經(jīng)網(wǎng)絡(luò)可以使用顯卡來執(zhí)行大部分所需的計算，大大提高了計算速度。

面部對齊

因為標(biāo)準(zhǔn)化人臉的使用使得包括人臉識別在內(nèi)的算法的結(jié)果更加穩(wěn)定，所以關(guān)鍵步驟是在稱為人臉對齊的過程中，通過算法將具有不同角度和分辨率的人臉匹配到標(biāo)準(zhǔn)位置。從這個角度來看，所有人臉都可以看作是標(biāo)準(zhǔn)人臉仿射變換（縮放、旋轉(zhuǎn)和平移）的結(jié)果，而人臉對齊算法的目標(biāo)是基于目標(biāo)人臉的特征點來反轉(zhuǎn)該變換過程。

計算機科學(xué)家最初定義了 68 個特征點，可以大致捕捉人臉的主要特征。開發(fā)此類算法的典型方法是讓計算機學(xué)習(xí)如何使用這些特征點將標(biāo)準(zhǔn)人臉圖像逐步轉(zhuǎn)換為真實圖像。標(biāo)準(zhǔn)人臉圖像到真實人臉圖像的映射是通過訓(xùn)練一系列回歸器實現(xiàn)的，這樣每個回歸器都能學(xué)習(xí)一部分轉(zhuǎn)換后的信息。

人臉屬性識別

人臉屬性包括性別、種族、年齡、表情等，準(zhǔn)確區(qū)分這些屬性可以更好地判斷主體的偏好和心理狀態(tài)。一旦進行了人臉檢測和對齊，人臉屬性識別就相對簡單了。它本質(zhì)上是借助大數(shù)據(jù)進行圖像分類和回歸。

2015年，微軟開發(fā)了一款年齡預(yù)測應(yīng)用程序（how-old.net），可以根據(jù)用戶的圖像對照片中的人進行年齡預(yù)測。在這個系統(tǒng)中，人臉首先被圈起來。然后提取的特征向量通過分類器分配性別標(biāo)簽，之后使用年齡回歸分析器獲得相應(yīng)的年齡數(shù)據(jù)。當(dāng)利用深度神經(jīng)網(wǎng)絡(luò)時，可以將特征提取和分類回歸集成到一個算法中，同時實現(xiàn)多個屬性的實時預(yù)測。同樣，面部表情可以分類并進行回歸。然后它們可以用于智能家居控制系統(tǒng)和安全系統(tǒng)，以便在發(fā)生危險時，可以在眨眼間發(fā)出警報。

面部驗證和識別

使用上述算法，可以在稱為面部驗證的過程中確定兩張圖片是否為同一個人。推而廣之，對于任何面部圖像輸入，計算機都可以在數(shù)據(jù)庫中匹配相關(guān)人員的數(shù)據(jù)，并在稱為面部識別的過程中輸出他或她的身份信息和屬性信息（圖 1）。

該算法的速度對于確保流暢的用戶體驗至關(guān)重要，因為需要將輸入圖像與數(shù)據(jù)庫中包含的大量圖像進行比較。一種解決方案是從每個目標(biāo)圖像中提取特征。一種這樣的方法是主成分分析 (PCA)，這是一種從檢測到的面部選擇框中獲得面部特定特征的過程，之后使用相關(guān)性分析來獲得最接近的信息匹配。另一個重要特征是尺度不變特征變換 (SIFT)，它可以高精度地匹配圖像中的特征點，即使圖像已經(jīng)過旋轉(zhuǎn)、縮放，甚至在使用不同相機時分辨率發(fā)生變化。

在不同的光照條件下或通過不同的媒體呈現(xiàn)時，人臉看起來會有所不同。直接特征提取可能無法滿足所有面部識別場景的需求，因此將目標(biāo)面部特征與光照數(shù)據(jù)等信息解耦至關(guān)重要。完善的局部二進制模式 (LBP) 算法可用于刪除光照信息。在 LBP 中，每個像素與其相鄰像素進行比較，然后保留整個圖像中像素之間的大小關(guān)系，但刪除它們的特定值。這樣，面部特征仍然保留，同時消除了由光照或紋理引起的像素偏移。Disentangled representation是近年來發(fā)展起來的一種新技術(shù)，

行為識別與識別技術(shù)

除了人臉識別技術(shù)，行為識別與識別也是智能安防系統(tǒng)的重要組成部分。具體而言，行為識別是指對視頻中的人所執(zhí)行的行為進行分類。相比之下，身份識別是指基于攝像頭網(wǎng)絡(luò)識別同一個人，之后確定他們的移動軌跡，并評估他們的意圖是否可疑。結(jié)合身份識別和行為識別，我們可以更好地確定給定視頻中主體的動作狀態(tài)。

行為識別

最初，行為識別被視為圖像分類的一個特例。分類目標(biāo)從圖像變?yōu)橐曨l，并且動作受分類而不是對象和面部。視頻作為智能安防系統(tǒng)的主要存儲介質(zhì)，可以看作是多幅圖像的組合，因此圖像分類方法（如深度學(xué)習(xí)算法）可以直接用于行為識別（圖2 ）). 然而，由于主體行為固有的時間特性，相關(guān)的時間特征也可以提高準(zhǔn)確性。光流是一種應(yīng)用于視頻的特征，它標(biāo)記圖像的兩個連續(xù)幀之間對應(yīng)點的變化路徑。當(dāng)屬于多個連續(xù)幀的對應(yīng)點及其周圍的像素信息被編碼成單個特征時，就形成了視頻軌跡。多個軌跡的組合提供了行為信息的良好表示。

近年來，深度學(xué)習(xí)算法在行為識別領(lǐng)域取得了長足的進步。香港中文大學(xué)計算機科學(xué)家提出的時間段網(wǎng)絡(luò)（TSN）算法提高了行為識別的準(zhǔn)確性。在 TSN 算法中，同時使用原始視頻和相應(yīng)的光流圖來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，從而允許單個模型對外觀信息和動態(tài)信息進行編碼。此外，同一視頻被隨機采樣以構(gòu)建多個組合，以便也可以識別同一動作的不同速度。除了以TSN為例的一類算法，新加坡南洋理工大學(xué)還發(fā)布了一個大型標(biāo)簽行為識別數(shù)據(jù)庫（NTU RGB+D），其中包含醫(yī)院和療養(yǎng)院常見的幾種動作（例如坐下、躺下和跌倒）。使用這些算法和數(shù)據(jù)訓(xùn)練的行為識別系統(tǒng)非常適合對關(guān)鍵人物和區(qū)域進行監(jiān)控。

身份識別

用于識別的特征可以是包羅萬象的，包括面部特征、身體特征、姿勢特征、運動特征、服裝特征等。由于相機分辨率的限制，面部特征只能作為身份識別的輔助手段。相比之下，姿勢、動作、服裝等較大的特征被用作主要特征，服裝特征占據(jù)較大份額，作為類似于人眼的識別過程的一部分。因此，構(gòu)建身份識別算法的關(guān)鍵在于如何最好地利用多個特征。

深度學(xué)習(xí)算法仍然發(fā)揮著重要作用。它們允許深度神經(jīng)網(wǎng)絡(luò)通過大量數(shù)據(jù)的輸入自動提取特征并為不同的特征分配不同的權(quán)重。同時，他們還訓(xùn)練了多個分類器來沿著不同的維度做出判斷。具體來說，身份識別算法結(jié)合了幾個組合目標(biāo)，包括外觀分類（服裝、背包、吊墜等）、體型分類（男性/女性、身高等）和成分分類（手臂、腿、軀干、等），最終結(jié)果是多個分類器的加權(quán)組合。近年來，為了同時放大不同個體之間的區(qū)別并減少同一個體不同場景之間的區(qū)別，

技術(shù)挑戰(zhàn)與展望

人臉識別和身份行為識別在安防系統(tǒng)應(yīng)用中都具有很大的優(yōu)勢。最重要的是，計算機可以完成人類無法實現(xiàn)的 24 小時全天候監(jiān)控，并且覆蓋范圍的擴大提高了整個系統(tǒng)的安全性。其次，強大的計算機可以快速處理大量數(shù)據(jù)，大大提高識別安全隱患的速度。此外，所使用的信息是外部信息（例如面孔、動作和衣服），不僅易于訪問，而且還允許在主體不知情的情況下進行全面的監(jiān)控和分析。然而，雖然具有上述功能的智能攝像頭開始在一些公共場所和社區(qū)中使用，但在實現(xiàn)大規(guī)模部署之前，仍需要解決一些技術(shù)挑戰(zhàn)。

系統(tǒng)健壯性

在人臉識別中，人臉經(jīng)常被眼鏡、墨鏡、口罩等遮擋，在行為和身份識別中，有時會遮擋四肢。這些問題對算法提出了重大挑戰(zhàn)。雖然某些照明問題可以通過解耦算法部分解決，但某些條件（例如黑暗環(huán)境或具有不同分辨率的相機）仍然會影響算法的準(zhǔn)確性。此外，看起來相似的面孔、著裝和動作相似的人以及面部和動作特征隨時間的變化都會導(dǎo)致識別不準(zhǔn)確。

數(shù)據(jù)范圍及反饋速度

從理論上講，數(shù)據(jù)量越大，可以對計算機進行更全面的訓(xùn)練。然而在現(xiàn)實中，人臉、行為和身份識別數(shù)據(jù)集可能非常龐大，只有經(jīng)過人工標(biāo)記后才能用于訓(xùn)練機器學(xué)習(xí)算法。因此，僅標(biāo)記一項就需要大量的人力投資。另一方面，一旦部署了安全系統(tǒng)，計算機每秒需要處理大量新數(shù)據(jù)，這會減慢反饋速度。在安全系統(tǒng)中，計算機還需要從數(shù)據(jù)中提取關(guān)鍵特征和信息并進行綜合，以獲得更復(fù)雜的結(jié)果（圖3 ）). 目前，算法仍然只負(fù)責(zé)特定的功能，例如人臉檢測和行為識別。未來，當(dāng)數(shù)據(jù)集規(guī)模和計算能力達到一定水平時，需要新的算法從多角度綜合信息，快速反饋給安全管理者。

圖 3：安全系統(tǒng)需要從數(shù)據(jù)中提取關(guān)鍵特征和信息并對其進行綜合以獲得更復(fù)雜的結(jié)果。（來源：MONOPOLY919/Shutterstock.com）

數(shù)據(jù)和算法安全

安全系統(tǒng)本身的安全性能是評價此類系統(tǒng)的重要標(biāo)準(zhǔn)。然而，在互聯(lián)網(wǎng)時代，數(shù)據(jù)安全仍然是一個巨大的挑戰(zhàn)。由于社交媒體的流行，幾乎每個人的面部數(shù)據(jù)和身份信息都可以在線獲取。一旦這些信息與成像技術(shù)甚至 3D 打印相結(jié)合，面部識別系統(tǒng)可能會受到損害。例如，一些研究人員現(xiàn)在專注于如何將真假面部識別納入面部識別系統(tǒng)，以防范此類潛在的安全威脅。

其他算法也在不斷升級，對現(xiàn)有的識別技術(shù)提出了新的挑戰(zhàn)。例如，近年來，生成對抗網(wǎng)絡(luò)已經(jīng)生成了真實人臉的圖像，甚至帶有自動換臉功能的視頻也變得司空見慣。這些生成的人臉甚至可以騙過現(xiàn)有的人臉識別系統(tǒng)。此外，最近的一篇論文表明，如果對身份識別系統(tǒng)進行干擾，則可以修改算法的身份匹配結(jié)果，使其不反映現(xiàn)實。犯罪分子甚至可以干擾算法以逃避系統(tǒng)的跟蹤。

結(jié)論

上面我們已經(jīng)表明，新算法的開發(fā)仍然是實現(xiàn)智能社區(qū)智能安全系統(tǒng)的先決條件。除了提高現(xiàn)有算法對大規(guī)模數(shù)據(jù)處理的魯棒性外，還需要逐步引入新型數(shù)據(jù)和算法保護機制，以應(yīng)對新的挑戰(zhàn)和需求。計算機科學(xué)家仍在不斷努力克服這些困難。基于稀疏表情構(gòu)建的人臉識別系統(tǒng)可以識別不同遮蓋條件下的人臉，提高了人臉識別算法處理特殊環(huán)境數(shù)據(jù)的能力。在訓(xùn)練識別算法時，可以引入生成對抗網(wǎng)絡(luò)和遷移學(xué)習(xí)等學(xué)習(xí)機制，以在部署時利用容器技術(shù)和聯(lián)邦學(xué)習(xí)。這不僅可以讓算法執(zhí)行識別任務(wù)，還可以讓算法區(qū)分不同的數(shù)據(jù)源和惡意攻擊，從而更好地保護系統(tǒng)的數(shù)據(jù)和算法。未來，隨著算法在這些領(lǐng)域不斷迭代改進，更先進的自動識別技術(shù)將成為智慧社區(qū)和智慧城市不可或缺的組成部分。數(shù)據(jù)和算法。未來，隨著算法在這些領(lǐng)域不斷迭代改進，更先進的自動識別技術(shù)將成為智慧社區(qū)和智慧城市不可或缺的組成部分。數(shù)據(jù)和算法。未來，隨著算法在這些領(lǐng)域不斷迭代改進，更先進的自動識別技術(shù)將成為智慧社區(qū)和智慧城市不可或缺的組成部分。

王東剛是悉尼大學(xué)的在讀博士。他的研究涉及醫(yī)學(xué)影像、人工智能、神經(jīng)科學(xué)和視頻分析，一直致力于將機器學(xué)習(xí)技術(shù)應(yīng)用到日常生活中。曾在CVPR、ECCV等國際頂級會議發(fā)表論文，擔(dān)任IEEE Transactions on Circuits and Systems for Video Technology、IEEE Transactions on Multimedia等期刊和AAAI、ICML等會議的審稿人。他在開發(fā)機器學(xué)習(xí)和計算機視覺算法方面經(jīng)驗豐富。與中國、美國、澳大利亞的公司和機構(gòu)合作項目包括多視角動作識別、基于監(jiān)控視頻的道路管理、腦CT自動分診系統(tǒng)等。

審核編輯hhy