來(lái)源：3D視覺(jué)工坊

0.這篇文章干了啥？

這篇文章提出了一種新穎的目標(biāo)跟蹤方法SFTrack，針對(duì)無(wú)人機(jī)(UAV)視頻中的獨(dú)特挑戰(zhàn)，采用了三種簡(jiǎn)單有效的策略，尤其是在處理低置信度檢測(cè)、小規(guī)模物體和無(wú)人機(jī)運(yùn)動(dòng)方面表現(xiàn)出色。通過(guò)在VisDrone2019、UAVDT和MOT17等多個(gè)廣泛認(rèn)可的數(shù)據(jù)集上進(jìn)行評(píng)估，SFTrack在多個(gè)指標(biāo)上顯著超越了現(xiàn)有的先進(jìn)方法。此外，文章還對(duì)UAVDT數(shù)據(jù)集的注釋錯(cuò)誤進(jìn)行了識(shí)別和修正，提供了一個(gè)增強(qiáng)版本的數(shù)據(jù)集，以便于更準(zhǔn)確的基準(zhǔn)測(cè)試。整體而言，SFTrack展現(xiàn)了在復(fù)雜環(huán)境中提高目標(biāo)跟蹤精度的強(qiáng)大能力。

2. 摘要

本文研究了無(wú)人機(jī)（UAV）視頻中的多目標(biāo)跟蹤問(wèn)題，這在交通監(jiān)控系統(tǒng)、警方實(shí)時(shí)追蹤嫌疑人等無(wú)人機(jī)應(yīng)用中具有關(guān)鍵作用。然而，由于無(wú)人機(jī)的快速運(yùn)動(dòng)以及高空和廣角視角下目標(biāo)物體的尺寸較小，此任務(wù)極具挑戰(zhàn)性。為了解決這些問(wèn)題，我們提出了一種簡(jiǎn)單卻更有效的方法，相較于以往的工作更加高效。我們的方法引入了一種新的跟蹤策略，從無(wú)人機(jī)應(yīng)用場(chǎng)景中常見(jiàn)的低置信度檢測(cè)結(jié)果開(kāi)始跟蹤目標(biāo)物體。此外，我們建議重新審視基于外觀的傳統(tǒng)匹配算法，以改善低置信度檢測(cè)的關(guān)聯(lián)效果。為了評(píng)估我們方法的有效性，我們?cè)趦蓚€(gè)無(wú)人機(jī)特定數(shù)據(jù)集（VisDrone2019、UAVDT）以及一個(gè)通用目標(biāo)跟蹤數(shù)據(jù)集（MOT17）上進(jìn)行了基準(zhǔn)測(cè)試。結(jié)果表明，我們的方法優(yōu)于當(dāng)前的先進(jìn)方法，突顯了其在多樣化跟蹤環(huán)境中的魯棒性和適應(yīng)性。此外，我們對(duì)UAVDT數(shù)據(jù)集的標(biāo)注進(jìn)行了改進(jìn)，糾正了原始標(biāo)注中的一些錯(cuò)誤和遺漏之處。我們將提供該數(shù)據(jù)集的改進(jìn)版本，以便為該領(lǐng)域的基準(zhǔn)測(cè)試提供更好的支持。

3. 效果展示

低空視頻跟蹤結(jié)果對(duì)比。(a)沒(méi)有運(yùn)動(dòng)補(bǔ)償（MC）的ByteTrack無(wú)法保持軌跡。(b)BoTSORT的MC會(huì)導(dǎo)致邊界框變形。(c)SFTrack與無(wú)人機(jī)MC，確保一致和準(zhǔn)確的跟蹤。推薦課程：零基礎(chǔ)入門(mén)四旋翼建模與控制(MATLAB仿真)[理論+實(shí)戰(zhàn)]。

這張圖片提供了原始無(wú)人機(jī)和我們改進(jìn)的無(wú)人機(jī)注釋的比較可視化。原始注釋中與實(shí)際對(duì)象不對(duì)應(yīng)的錯(cuò)誤將以“紅色”突出顯示。“黃色”標(biāo)記代表我們對(duì)Refined UAVDT數(shù)據(jù)集中可見(jiàn)對(duì)象的附加注釋。

4. 主要貢獻(xiàn)

我們提出了一種適用于無(wú)人機(jī)多目標(biāo)跟蹤的方案，能夠有效應(yīng)對(duì)無(wú)人機(jī)固有的挑戰(zhàn)，包括快速且不規(guī)則的運(yùn)動(dòng)、小尺度物體和遮擋等問(wèn)題。

我們引入了一種從低置信度檢測(cè)開(kāi)始跟蹤的新策略，在無(wú)人機(jī)場(chǎng)景中尤其有效。為管理這些低置信度檢測(cè)，我們建議重新審視基于手工設(shè)計(jì)特征的傳統(tǒng)外觀匹配算法。

我們?cè)诙鄠€(gè)數(shù)據(jù)集上對(duì)我們的方法進(jìn)行了全面評(píng)估，包括VisDrone2019、UAVDT和MOT17，展示了其有效性和卓越的性能。

我們識(shí)別并修正了UAVDT數(shù)據(jù)集中缺失和錯(cuò)誤的標(biāo)注，貢獻(xiàn)了更準(zhǔn)確的評(píng)估并促進(jìn)了進(jìn)一步研究。

5. 基本原理是啥？

該方法的基本原理圍繞三個(gè)關(guān)鍵策略展開(kāi)，以提高無(wú)人機(jī)視頻中的目標(biāo)跟蹤效果。這些策略主要集中在如何更好地處理小目標(biāo)、低置信度檢測(cè)，以及無(wú)人機(jī)運(yùn)動(dòng)帶來(lái)的挑戰(zhàn)。

低置信度檢測(cè)的利用：傳統(tǒng)跟蹤方法通常會(huì)忽略置信度較低的檢測(cè)結(jié)果，而本方法則充分利用這些低置信度檢測(cè)，以避免遺漏小目標(biāo)或快速移動(dòng)的物體。通過(guò)引入低置信度檢測(cè)，能有效減少漏檢，提高整體跟蹤精度（MOTA和IDF1指標(biāo)）。

自適應(yīng)關(guān)聯(lián)策略：為了應(yīng)對(duì)無(wú)人機(jī)在飛行過(guò)程中可能遇到的復(fù)雜視角變化和快速移動(dòng)，本方法結(jié)合了基于傳統(tǒng)外觀特征的匹配算法，適用于頻繁出現(xiàn)低置信度檢測(cè)的情況。這種方法在連續(xù)幀之間維持較高的身份保持能力，不易因光線變化和視角偏移而丟失目標(biāo)。

無(wú)人機(jī)運(yùn)動(dòng)補(bǔ)償：由于無(wú)人機(jī)視頻中的相機(jī)運(yùn)動(dòng)較大，本方法引入了一種專(zhuān)門(mén)為無(wú)人機(jī)設(shè)計(jì)的運(yùn)動(dòng)補(bǔ)償技術(shù)（UAV Motion Compensation, UAV MC），通過(guò)保持目標(biāo)的縱橫比來(lái)改善運(yùn)動(dòng)帶來(lái)的目標(biāo)形變，從而提升跟蹤的穩(wěn)定性。

這三種策略的結(jié)合，使得該方法在無(wú)人機(jī)特定場(chǎng)景下表現(xiàn)出色，特別是在跟蹤小目標(biāo)和快速運(yùn)動(dòng)物體時(shí)，能提供更加平衡和可靠的跟蹤表現(xiàn)。

6. 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，本文提出的SFTrack方法在多個(gè)基準(zhǔn)數(shù)據(jù)集上顯著優(yōu)于現(xiàn)有方法，尤其是在無(wú)人機(jī)(UAV)數(shù)據(jù)集上的表現(xiàn)更加突出。

與現(xiàn)有方法的對(duì)比

VisDrone2019和UAVDT數(shù)據(jù)集：在這些無(wú)人機(jī)數(shù)據(jù)集中，SFTrack在大多數(shù)評(píng)估指標(biāo)上都優(yōu)于其他方法。例如，與表現(xiàn)最好的ByteTrack相比，SFTrack的多目標(biāo)跟蹤準(zhǔn)確率（MOTA）提高了4.9%；與在IDF1指標(biāo)上表現(xiàn)最好的FOLT相比，SFTrack的IDF1分?jǐn)?shù)提升了5.2%。這證明SFTrack在跟蹤準(zhǔn)確度和身份保持方面的表現(xiàn)優(yōu)越。

MOTA與IDF1的權(quán)衡：盡管SFTrack在降低漏檢（FN）上表現(xiàn)優(yōu)異，但也帶來(lái)了一定的誤檢（FP）增加。這種權(quán)衡來(lái)自于SFTrack方法中低置信度檢測(cè)的使用和傳統(tǒng)外觀匹配算法的應(yīng)用。然而，與其他先進(jìn)方法相比，SFTrack的跟蹤表現(xiàn)更加平衡，尤其在無(wú)人機(jī)場(chǎng)景中，保證目標(biāo)不被漏檢往往比短暫誤檢更為關(guān)鍵。

困難場(chǎng)景測(cè)試

小目標(biāo)和快速移動(dòng)物體：在VisDrone2019數(shù)據(jù)集中，SFTrack在包含大量小目標(biāo)和快速移動(dòng)物體的視頻中表現(xiàn)尤為出色。具體而言，SFTrack在平均相對(duì)加速度（Mean Relative Acceleration，MRA）較高的場(chǎng)景中展示了顯著的性能提升，能夠更好地應(yīng)對(duì)快速移動(dòng)的物體。

高海拔和視角變化的場(chǎng)景：在Refined UAVDT數(shù)據(jù)集上，SFTrack在高空飛行（70米以上）和視角頻繁變化的條件下，超過(guò)了次優(yōu)方法，展示了更強(qiáng)的魯棒性和適應(yīng)性。

MOT17數(shù)據(jù)集評(píng)估

在MOT17（非無(wú)人機(jī)）數(shù)據(jù)集上，SFTrack同樣表現(xiàn)出色。特別是在不同檢測(cè)器（YOLOX和YOLOX Nano）的應(yīng)用下，SFTrack在低置信度檢測(cè)頻繁的情況下仍能有效工作。尤其是在使用性能較低的YOLOX Nano時(shí)，SFTrack能夠有效處理檢測(cè)性能下降帶來(lái)的更多低置信度檢測(cè)。

消融實(shí)驗(yàn)

通過(guò)消融實(shí)驗(yàn)，研究了SFTrack中各個(gè)組件的影響，驗(yàn)證了每個(gè)模塊的改進(jìn)效果：

無(wú)人機(jī)運(yùn)動(dòng)補(bǔ)償（UAV MC）：用保持縱橫比的無(wú)人機(jī)運(yùn)動(dòng)補(bǔ)償方法替換BoTSORT的運(yùn)動(dòng)補(bǔ)償技術(shù)后，MOTA提升了1.4%，IDF1提升了3.7%。

低置信度檢測(cè)的初始化：增加了低置信度檢測(cè)的初始化，使MOTA和IDF1分別提高了3.2%。

外觀匹配策略：使用傳統(tǒng)外觀匹配算法后，MOTA和IDF1分別又增加了1.7%和0.2%。

盡管這些改進(jìn)對(duì)跟蹤速度有輕微影響，SFTrack依然可以達(dá)到每秒10幀的跟蹤速度，尤其在后續(xù)優(yōu)化（如C語(yǔ)言實(shí)現(xiàn)）中，速度有望進(jìn)一步提升。

7. 總結(jié) & 未來(lái)工作

在本研究中，我們提出了一種新穎的關(guān)聯(lián)方法，通過(guò)三個(gè)簡(jiǎn)單而有效的策略來(lái)進(jìn)行目標(biāo)跟蹤，重點(diǎn)解決無(wú)人機(jī)視頻中的獨(dú)特挑戰(zhàn)。我們的方法針對(duì)低置信度檢測(cè)提出的策略，能夠有效地應(yīng)對(duì)小尺度目標(biāo)的跟蹤以及無(wú)人機(jī)運(yùn)動(dòng)的管理。在多個(gè)基準(zhǔn)上，我們的方法優(yōu)于現(xiàn)有的主流方法，并在VisDrone2019、UAVDT和MOT17等廣泛認(rèn)可的數(shù)據(jù)集上進(jìn)行了驗(yàn)證。此外，我們還識(shí)別并修正了UAVDT數(shù)據(jù)集中現(xiàn)有的標(biāo)注錯(cuò)誤。增強(qiáng)版的數(shù)據(jù)集將公開(kāi)發(fā)布，為該領(lǐng)域提供更為準(zhǔn)確的基準(zhǔn)資源。