CentripetalNet的核心在于新的角點(diǎn)匹配方式，額外學(xué)習(xí)一個(gè)向心偏移值，偏移值足夠小的角點(diǎn)即為匹配，相對(duì)于embedding向量的匹配方式，這種方法更為魯棒，解釋性更好。另外論文提出的十字星變形卷積也很好地貼合角點(diǎn)目標(biāo)檢測的場景，增強(qiáng)角點(diǎn)特征
?

論文: CentripetalNet: Pursuing High-quality Keypoint Pairs for Object Detection

論文地址：https://arxiv.org/abs/2003.09119

論文代碼：https://github.com/KiveeDong/CentripetalNet

Introduction

CornerNet打開了目標(biāo)檢測的新方式，通過檢測角點(diǎn)進(jìn)行目標(biāo)的定位，在角點(diǎn)的匹配上，增加了額外embedding向量，向量距離較小的角點(diǎn)即為匹配。而論文認(rèn)為，這種方法不僅難以訓(xùn)練，而且僅通過物體表面進(jìn)行預(yù)測，缺乏目標(biāo)的位置信息。對(duì)于相似物體，embedding向量很難進(jìn)行特定的表達(dá)，如圖1所示，相似的物體會(huì)造成錯(cuò)框現(xiàn)象。

? 為此，論文提出了CentripetalNet，核心在于提出了新的角點(diǎn)匹配方式，額外學(xué)習(xí)一個(gè)向心偏移值，偏移值足夠小的角點(diǎn)即為匹配。相對(duì)于embedding向量，這種方法更為魯棒，解釋性更好。另外，論文還提出十字星變形卷積，針對(duì)角點(diǎn)預(yù)測的場景，在特征提取時(shí)能夠準(zhǔn)確地采樣關(guān)鍵位置的特征。最后還增加了實(shí)例分割分支，能夠?qū)?a href="http://m.1cnz.cn/v/tag/1722/" target="_blank">網(wǎng)絡(luò)拓展到實(shí)例分割任務(wù)中。

CentripetalNet

如圖2所示，CentripetalNet包含四個(gè)模塊，分別為：

角點(diǎn)預(yù)測模塊(Corner Prediction Module)：用于產(chǎn)生候選角點(diǎn)，這部分跟CornerNet一樣。

向心偏移模塊(Centripetal Shift Module)：預(yù)測角點(diǎn)的向心偏移，并根據(jù)偏移結(jié)果將相近的角點(diǎn)成組。

十字星變形卷積(Cross-star Deformable Convolution)：針對(duì)角點(diǎn)場景的變形卷積，能夠高效地增強(qiáng)角點(diǎn)位置的特征。

實(shí)例分割分支(Instance Mask Head)：類似MaskRCNN增加實(shí)例分割分支，能夠提升目標(biāo)檢測的性能以及增加實(shí)例分割能力。

Centripetal Shift Module

Centripetal Shift

對(duì)于，幾何中心為，定義左上角點(diǎn)和右下角點(diǎn)的向心偏移為：

函數(shù)用來減少向心偏移的數(shù)值范圍，讓訓(xùn)練更容易。在訓(xùn)練時(shí)，由于非GT角點(diǎn)需要結(jié)合角點(diǎn)偏移計(jì)算向心偏移，比較復(fù)雜，如圖a所示，所以僅對(duì)GT角點(diǎn)使用smooth L1損失進(jìn)行向心偏移訓(xùn)練：

Corner Matching

屬于同一組的角點(diǎn)應(yīng)該有足夠近的中心點(diǎn)，所以在得到向心偏移和角點(diǎn)偏移后，可根據(jù)角點(diǎn)對(duì)應(yīng)的中心點(diǎn)判斷兩個(gè)角點(diǎn)是否對(duì)應(yīng)。首先將滿足幾何關(guān)系的角點(diǎn)組合成預(yù)測框，每個(gè)預(yù)測框的置信度為角點(diǎn)置信度的均值。接著，如圖c所示，定義每個(gè)預(yù)測框的中心區(qū)域：

的角點(diǎn)計(jì)算為：

為中心區(qū)域?qū)?yīng)預(yù)測框邊長的比例，根據(jù)向心偏移計(jì)算出左上角點(diǎn)的中心點(diǎn)和右下角點(diǎn)的中心點(diǎn)，計(jì)算滿足中心區(qū)域關(guān)系的預(yù)測框的權(quán)值：

從公式5可以看出，角點(diǎn)對(duì)應(yīng)的中心點(diǎn)的距離越近，預(yù)測框的權(quán)值越高，對(duì)于不滿足中心點(diǎn)幾何關(guān)系的預(yù)測框，權(quán)值直接設(shè)為0，最后，使用權(quán)值對(duì)置信度進(jìn)行加權(quán)輸出。

Cross-star Deformable Convolution

為了讓角點(diǎn)感知目標(biāo)的位置信息，coner pooling使用max和sum來進(jìn)行目標(biāo)信息的水平和垂直傳遞，導(dǎo)致輸出的特征圖存在十字星現(xiàn)象，如圖4a所示，十字星的邊界包含了豐富的上下文信息。為了進(jìn)一步提取十字星邊界的特征，不僅需要更大的感受域，還需要適應(yīng)其特殊的幾何結(jié)構(gòu)，所以論文提出了十字星變形卷積。

但并不是所有的邊界特征都是有用的，對(duì)于左上角點(diǎn)而言，由于十字星的左上部邊界特征在目標(biāo)的外部，所以其對(duì)左上角點(diǎn)是相對(duì)無用的，所以論文使用偏移引導(dǎo)(guiding shift)來顯示引導(dǎo)偏移值(offset field)的學(xué)習(xí)，偏移引導(dǎo)如圖b所示。偏移值共通過三個(gè)卷積層獲得，前兩個(gè)卷積層轉(zhuǎn)化corner pooling的輸出，通過下面的損失函數(shù)有監(jiān)督學(xué)習(xí)：

為偏移引導(dǎo)，定義為：

第三層卷積將特征映射為最終偏移值，內(nèi)涵了目標(biāo)的上下文信息和幾何信息。

論文對(duì)不同的采樣方法進(jìn)行了可視化，可以看到論文提出的十字星變形卷積的效果符合預(yù)期，左上角點(diǎn)對(duì)應(yīng)的采樣點(diǎn)均為十字星的右下部邊界。

Instance Mask Head

為了獲取實(shí)例分割的結(jié)果，論文取soft-NMS前的檢測結(jié)果作為候選框，使用全卷積網(wǎng)絡(luò)進(jìn)行mask預(yù)測。為了保證檢測模塊能夠提供有效的候選框，先對(duì)CentripetalNet預(yù)訓(xùn)練幾輪，然后取top-k候選框進(jìn)行RoIAlign得到特征，使用連續(xù)四個(gè)卷積層提取特征，最后使用反卷積層進(jìn)行上采樣，訓(xùn)練時(shí)對(duì)每個(gè)候選框進(jìn)行交叉熵?fù)p失：

Experiment

完整的損失函數(shù)為：

和跟CornerNet定義的一樣，為預(yù)測框損失和角點(diǎn)偏移損失，設(shè)置為0.005。

目標(biāo)檢測性能對(duì)比。

實(shí)例分割性能對(duì)比。

CornerNet/CenterNet/CentripetalNet可視化對(duì)比。

Conclusion

CentripetalNet的核心在于新的角點(diǎn)匹配方式，額外學(xué)習(xí)一個(gè)向心偏移值，偏移值足夠小的角點(diǎn)即為匹配，相對(duì)于embedding向量的匹配方式，這種方法更為魯棒，解釋性更好。另外論文提出的十字星變形卷積也很好地貼合角點(diǎn)目標(biāo)檢測的場景，增強(qiáng)角點(diǎn)特征。

責(zé)任編輯：lq