摘要

傳感器融合對于自動駕駛和自主機器人是至關重要，毫米波雷達-相機融合系統由于其互補的傳感能力而廣受歡迎。然而，這兩個傳感器之間的精確校準對于確保有效融合和提高整體系統性能更為重要。兩者之間的校準包括內參校準和外參校準，后者對于實現精確的傳感器融合尤為重要。

不幸的是，許多基于目標的校準方法需要復雜的操作程序和精心設計的實驗條件，這給研究人員帶來了挑戰。為了解決這個問題，本文引入了一種新的方法，該方法利用深度學習從原始毫米波雷達數據（即距離-多普勒角數據）和相機圖像中提取共同特征。我們的方法不是顯式地表示這些共同特征，而是隱式地利用這些共同特征來匹配來自兩個數據源的相同對象，具體來說，提取的共同特征作為一個例子，展示了毫米波雷達和相機系統之間的在線無目標校準方法。通過這種基于特征的方法實現了對外參變換矩陣的估計，為了提高校準的準確性和穩健性，應用了RANSAC和Levenberg-Marquardt（LM）非線性優化算法來推導矩陣，在真實環境的實驗證明了提出的方法的有效性和準確性。

主要貢獻

毫米波雷達和攝像頭是互補的傳感方式，廣泛用于自動駕駛和機器人等應用。無論照明和天氣條件如何，毫米波雷達都能提供準確的距離、速度和角度信息，而相機則能捕捉高分辨率的視覺信息。毫米波雷達和相機的結合提高了感知能力，并可在動態環境中執行物體識別、檢測和跟蹤等任務。毫米波雷達和相機之間的校準對于傳感器融合至關重要，因為它們的傳感原理不同，尤其是對于確定它們的相對姿態。一種很有前途的方法是使用深度學習從原始毫米波雷達數據中提取有用的特征，并探索雷達和圖像特征之間的關系，以估計外部變換矩陣，如圖1所示：

圖1：所提出的毫米波雷達相機在線外參校準方法的框架。該方案展示了校準毫米波雷達和攝像頭傳感器所涉及的順序步驟。該方法首先訓練深度學習共同特征鑒別器，以確定毫米波雷達和相機數據中檢測到的對象是否共享共同特征。隨后基于共同特征的存在，利用訓練的共同特征鑒別器在毫米波雷達和相機視圖中找到匹配對象。最后，基于這些匹配對象，形成相應的相機-毫米波雷達點對進行校準。

與傳統的基于目標的方法不同，所提出的方法不僅降低了復雜性和配置要求，而且使系統能夠進行在線重新校準，減輕了外參矩陣隨時間的潛在風險。這種能力在動態環境中尤其重要，在動態環境下，振動、溫度變化和一般磨損等因素會影響毫米波雷達和相機傳感器之間的位姿。這項工作的貢獻如下：

1） 開發一個深度學習模型，從原始毫米波雷達數據中學習有用的特征，并探索雷達和圖像特征之間的關系，以獲得共同特征。

2） 第一種已知的方法利用毫米波雷達和相機的共同特征來實現在線無目標物校準方法，并解決了傳統校準方法的挑戰，例如需要特定的校準目標和手動步驟，使所提出的方法在現實場景的應用中更加實用和有效。

內容概述

A.問題表述

毫米波雷達與相機校準涉及求解變換矩陣，該變換矩陣建立圖像像素坐標系（PCS）中的一個點與毫米波雷達坐標系（RCS）中的另一個點之間的對應關系。該變換矩陣包括分別通過內參校準和外參校準獲得的內參矩陣和外參矩陣。在毫米波雷達相機外參校準中，目標是使用已知的相機內參和RCS中的點與PCS中的對應點之間的一組N對應關系來確定外參矩陣。假設RCS中的一個點表示為Pr，其在PCS中的相應點表示為Pp，則它們之間的變換可以表示為：

B.基于常見特征的點對應匹配

基于前面的討論，解決毫米波雷達和相機坐標系統相關的外參矩陣的關鍵是在毫米波雷達和相機視圖之間找到足夠數量的點對應。傳統的研究人員依靠使用獨特的校準目標物，如角反射器，來提高雷達和相機圖像中物體的可探測性。這些目標作為參考點，有助于在兩種傳感器之間建立準確的點對應關系。然而，對于無目標校準方法，我們不使用特定的校準目標，也不事先了解毫米波雷達和相機視圖中的對象。幸運的是，基于在毫米波雷達和相機檢測中觀察到的與相同物體相對應的共同特征，我們可以匹配這些物體，并進一步對準它們的中心，從而產生點對應關系。

從毫米波雷達和相機檢測中提取的共同特征為識別和關聯兩種模態中的對象提供了有價值的信息。這些特征可以包括反射率、紋理、大小和運動模式。通過分析這些特征，我們可以識別出在毫米波雷達和相機數據中表現出相似模式或特征的物體。

由于毫米波雷達數據中的低分辨率和高噪聲等固有限制，使用傳統算法提取特征可能具有挑戰性。然而深度學習在特征提取方面表現出了比較好的效果，非常適合應對這些場景。鑒于YOLO模型在圖像特征提取方面的成功，以及我們研究毫米波雷達和相機數據之間共享特征的目標，選擇使用基于YOLO的方法來提取共同特征。通過使YOLO模型適應毫米波雷達數據，可以利用其強大的特征提取能力來識別和提取相關的雷達特征。這使我們能夠檢測毫米波雷達幀中的物體。同時YOLO模型檢測和識別相機圖像中物體的能力使我們能夠識別雷達和相機數據之間的共同特征。

此外，基于提取的雷達和圖像特征，我們構建了另一個深度神經網絡，專門致力于發現兩種模態之間的共享特征和匹配特征。該網絡旨在學習提取的特征之間存在的復雜關系和模式，能夠從雷達和相機數據中識別和對齊相應的特征。最終可以有效地探索和利用雷達和相機數據共享的共同特征。

圖2：基于YOLO的公共特征網絡的體系結構。CSPResNet：跨階段部分ResNet。CBL:Convolution3D+批量標準化+LeakyReLU。SPP：空間金字塔池。

圖2直觀地展示了基于YOLO的公共特征網絡的結構，并突出了其關鍵組件和層，以便于全面理解。該網絡包括三個主要組件：基于YOLO的雷達探測器，它以原始雷達數據生成的快速傅立葉變換（FFT）熱圖作為輸入，并輸出包含檢測目標的綁定框；三維卷積神經網絡（CNN）雷達特征提取器，其將從雷達檢測器獲得的邊界框作為輸入，并對這些邊界框所包含的距離-方位-多普勒（RAD）數據進行裁剪，然后基于分類的準確性來確定提取特征的質量；以及全連接公共特征鑒別器，其利用YOLO提取的圖像特征以及雷達檢測器和雷達特征提取器提取的雷達特征來確定在圖像中檢測到的物體和雷達檢測到的對象是否是同一實體。

**C.毫米波雷達相機外部校準解決方案**

利用深度學習提取的共同特征，可以進行對象匹配和對應識別。通過比較毫米波雷達和相機視圖中檢測到的物體的特征，我們可以確定哪些物體相互對應。然后可以利用公共特征中編碼的空間信息來提取這些物體的中心，這使我們能夠在雷達和圖像像素坐標系之間建立點對應關系?；谒@得的特征點對應關系，可以進行外參校準矩陣的估計。這本質上是一個用于最小化重投影誤差的非線性問題。LM算法結合了最速下降和高斯-牛頓方法的優點，已被廣泛用于解決非線性最小二乘問題。

然而，為了確保收斂到全局最優解，該算法需要對外參矩陣給出良好的初始值。在本文的方法中，基于RANSAC（隨機樣本一致性）算法的校準矩陣的初始估計用作后續LM最小化的初始猜測，RANSAC是一種迭代方法，旨在使用最小的可能對應集來估計數學模型的參數，同時有效地排除異常值。在外參校準的背景下，RANSAC有助于解決噪聲雷達測量和雷達相機點對應關系變化帶來的挑戰。在使用RANSAC過濾掉不合適的對應關系并獲得校準矩陣的魯棒初始估計之后，剩余的點對應關系被用作輸入以解決PnP問題。這種兩步方法結合了RANSAC在處理異常值方面的優勢和迭代LM優化算法的準確性，為在存在噪聲雷達測量和點對應變化的情況下進行外參校準提供了有效的解決方案。

實驗

實驗裝置如圖5所示，筆記本電腦和NVidia Jetson Xavier GPU使用以太網和USB電纜與雷達攝像頭系統建立連接，以收集數據。

圖5：實驗設置

表I給出了用于評估校準矩陣準確性的評估指標，包括平均絕對重投影誤差（MARE）和均方根重投影誤差。MARE表示投影雷達點與其對應圖像點之間的平均絕對差，而RMSRE則測量投影圖像點與實際圖像點間的總體偏差。

使用獲得的校準矩陣將雷達點投影到圖像上的結果進一步支持了對我們校準性能的評估，如圖4所示。從圖4a中可以明顯看出，圖像點和投影雷達點彼此非常接近，投影雷達點主要落在圖像中目標（即汽車和人）占據的區域內。圖4b和圖4c顯示了與兩個目標的運動相對應的圖像點和投影雷達點的軌跡。可以觀察到，雷達和圖像軌跡表現出良好的對準，特別是考慮到雷達點的高度可變性。這些視覺結果突出了所提出的校準方法的實用性和有效性，即使在雷達測量中存在固有波動的情況下也是如此。

圖4：使用獲得的校準矩陣將雷達點投影到圖像上。（a） 將各個雷達點投影到圖像中的相應目標上，即汽車和人。（b） 圖像點和投影雷達點的軌跡對應于幀39處的兩個目標的移動。（c） 圖像點和投影雷達點的軌跡對應于幀204處兩個目標的移動。

總結

根據毫米波雷達和相機的共同特點，提出了一種在線無目標的毫米波雷達和相機外參校準方法，所提出的方法利用深度學習技術從原始毫米波雷達數據和相機圖像中提取共同特征，從而能夠在不需要特定校準目標的情況下估計外部變換矩陣，實驗驗證了所提出方法的有效性，證明了其在具有挑戰性的真實世界環境中進行可靠和精確的雷達相機外部校準的潛力。這項研究為毫米波雷達相機傳感器融合領域做出了貢獻，并為校準技術的進一步進步和擴大所提出方法的應用提供了基礎，未來的工作可能側重于進一步提高校準方法的效率和適應性，并探索可視化和解釋毫米波雷達和相機數據之間的共同特征。






審核編輯：劉清