來(lái)源：CVPR 2021 UG2+ 編輯：好困

【新智元導(dǎo)讀】中國(guó)團(tuán)隊(duì)包攬CVPR 2021 UG2+挑戰(zhàn)賽弱光人臉檢測(cè)賽道前三，其中TAL-ai更是以74.89的高分奪得第一。

CVPR作為是全球計(jì)算機(jī)視覺(jué)頂會(huì)之一，近年來(lái)的論文接收率不超過(guò)25%。今年，會(huì)議收到了21000名作者的7000篇投稿，經(jīng)過(guò)7400名審稿人和280名區(qū)域主席的審查，最終有1600篇論文被接收，接收率約0.24。

而在CVPR 2021 UG2+挑戰(zhàn)賽——弱光條件下（半）監(jiān)督人臉檢測(cè)賽道中，國(guó)內(nèi)的「TAL-ai」團(tuán)隊(duì)以mAP 74.89的高分奪得第一，領(lǐng)先第二名3%。

在弱光條件下，人臉的視覺(jué)特征與正常環(huán)境中有很大的差異，也就使現(xiàn)有人臉檢測(cè)算法無(wú)法有效工作。

TAL-ai在論文中提出了新的解決方法，研究人員除了在增強(qiáng)圖像亮度時(shí)結(jié)合了兩種方法，同時(shí)還對(duì)正常的圖像進(jìn)行處理來(lái)擴(kuò)展訓(xùn)練集，并將數(shù)個(gè)檢測(cè)器組合起來(lái)增強(qiáng)對(duì)人臉的檢測(cè)。

https://arxiv.org/pdf/2107.00818.pdf

弱光條件的人臉檢測(cè)

賽事提供的「DARKFACE」數(shù)據(jù)集將會(huì)被用作作為訓(xùn)練和驗(yàn)證，其中含有6000個(gè)低亮度圖像，并具有相應(yīng)的面部注釋。最終的測(cè)試集則由4000個(gè)圖像組成。

低亮度圖像增強(qiáng)

為了增強(qiáng)圖像的亮度，論文使用MSRCR方法，同時(shí)實(shí)現(xiàn)了動(dòng)態(tài)范圍壓縮、顏色一致性以及亮度再現(xiàn)。

此外，還使用了另一種數(shù)據(jù)驅(qū)動(dòng)亮度增強(qiáng)方法ZeroDCE，將亮度增強(qiáng)任務(wù)與深度網(wǎng)絡(luò)的圖像標(biāo)準(zhǔn)曲線進(jìn)行估計(jì)。

從增強(qiáng)的低光圖像中提取顯著圖Rsaliency，并將其與Rmsrcr融合，從而抑制錯(cuò)誤的結(jié)果，融合結(jié)果R saliency_enhanced：

正常圖像的域遷移

論文將WIDERFACE和UFDD預(yù)訓(xùn)練集與經(jīng)過(guò)預(yù)處理的DARKFACE相結(jié)合，從而構(gòu)建更具魯棒性的檢測(cè)器。

考慮到預(yù)處理的DARKFACE樣本與正常圖像之間的領(lǐng)域差距，論文將WIDERFACE和UFDD遷移到與已處理的DARKFACE數(shù)據(jù)集更相鄰的域。

傳統(tǒng)的方法是降低正常圖像的亮度，添加噪音，然后用MSRCR處理。

HLAFace方法則是使用Pix2Pix網(wǎng)絡(luò)來(lái)合成噪聲，從而獲得由低亮度增強(qiáng)圖像和經(jīng)過(guò)域遷移的正常圖像組成的訓(xùn)練樣本。

檢測(cè)與結(jié)果

論文構(gòu)建的弱光人臉檢測(cè)框架由兩部分組成：級(jí)聯(lián)R-CNN和檢測(cè)器。并使用Cascade R-CNN作為De-Scribe細(xì)節(jié)的示例。

訓(xùn)練架構(gòu)

測(cè)試架構(gòu)

數(shù)據(jù)集拆分

論文將DARKFACE數(shù)據(jù)集按照每張圖片中人臉的數(shù)量分成幾組，然后隨機(jī)選擇每組中10%的樣本作為驗(yàn)證部分，其余90%的數(shù)據(jù)作為訓(xùn)練部分。

訓(xùn)練策略

論文進(jìn)行了多尺度訓(xùn)練，調(diào)整樣本范圍從[2160,1440]到[4320,2880]，并對(duì)其應(yīng)用大小為[1000,800]的隨機(jī)裁剪。并且使用圖像增強(qiáng)工具來(lái)在線處理訓(xùn)練樣本，包括隨機(jī)亮度，顏色抖動(dòng)等。

此外，還要使用AdamW優(yōu)化器，初始學(xué)習(xí)率為0.0001，在27和33個(gè)epoch中進(jìn)行線性衰減，共36個(gè)epoch，權(quán)重衰減為0.05。

模型重構(gòu)

特征表示一直是物體檢測(cè)任務(wù)的關(guān)鍵點(diǎn)，而骨干網(wǎng)絡(luò)對(duì)特征表示的能力有非常重要的影響。

因此，論文采用Swin-Transformer和ResNet兩個(gè)架構(gòu)。此外，還采用了PAFPN來(lái)代替級(jí)聯(lián)R-CNN中的FPN。

在分析了DARKFACE數(shù)據(jù)集的人臉大小分布后，研究人員注意到小尺寸的人臉占主導(dǎo)地位。因此，論文設(shè)置了更多的小錨點(diǎn)來(lái)捕捉更多小的人臉。

論文在主干中加入了注意力模塊GCnet，從而獲得更強(qiáng)大的表征，同時(shí)RoI-align模塊也被用來(lái)預(yù)測(cè)更精確的邊界框。

人臉大小的分布

模型組合

最后，論文用Swin-large、Swin-base、ResNet50等不同的骨架訓(xùn)練Cascade R-CNN和DetectorRS，以獲得更好的檢測(cè)器多樣性結(jié)果。

論文使用加權(quán)邊界框融合(WBF)和測(cè)試時(shí)數(shù)據(jù)增強(qiáng)(TTA)方法將檢測(cè)器的預(yù)測(cè)組合，并在模型組合過(guò)程中使用了Soft-NMS。

驗(yàn)證結(jié)果

總結(jié)

論文在增強(qiáng)圖像亮度時(shí)結(jié)合了兩種不同的方法，同時(shí)，研究人員對(duì)正常圖像進(jìn)行處理，從而獲得增強(qiáng)亮度的弱光圖像以及經(jīng)過(guò)域遷移的正常圖像相結(jié)合的訓(xùn)練樣本。最后，論文結(jié)合了數(shù)個(gè)檢測(cè)器來(lái)定位人臉的邊界框。

參考資料：

https://cvpr2021.ug2challenge.org/leaderboard21_t1.html

https://arxiv.org/pdf/2107.00818.pdf

—完—

歡迎點(diǎn)贊~ 關(guān)注 新智元 及時(shí)了解人工智能新動(dòng)態(tài)~

審核編輯 黃宇