4D Radar在自動駕駛領域中越來越受關注，在價格和功能上都有比較大的競爭力，相關研究也逐漸open，今天為大家盤點下開源的4D Radar數據，為相關科學研究提供保障！

1Astyx

Astyx數據集是第一個公開的包含4D雷達點云的數據集，提出了一個基于雷達、激光雷達和攝像機數據的以雷達為中心的汽車數據集，用于3D物體檢測。主要重點是向研究界提供高分辨率雷達數據，刺激使用雷達傳感器數據的算法研究。為此，提供了用于物體檢測的半自動生成和手動重新定義的3D地面真實數據。論文描述了生成此類數據集的完整過程，重點介紹了相應高分辨率雷達的一些主要功能，并通過在此數據集上顯示基于深度學習的3D對象檢測算法的結果，展示了其在3-5級自動駕駛應用中的使用。

由于手動標記是一項非常繁瑣、緩慢和昂貴的任務，無法擴展到更大的數據集，因此自動預標記和手動重新定義是非常必要的。對于此任務，本文使用[16]的工作，基于深度學習的3D目標檢測，并對低級傳感器數據執行多傳感器融合。為了盡量減少需要手動重新定義的標簽數量，將此3D目標檢測網絡嵌入到基于不確定性采樣的主動學習方法中，使用估計分數作為近似值（見圖3）。為此，從網絡最不確定其決策的自動預標記數據N幀中提取數據，通過手動微調進行校正，從而在下一輪訓練和預標記中最大化網絡的信息增益。

現階段免費提供的最終數據集由500個同步幀（雷達、激光雷達、相機）組成，其中包含大約3000個非常精確標記的3D對象注釋。盡管大多數對象都屬于“汽車”類，但論文也提供了總共7類（公共汽車、汽車、自行車、摩托車、人、拖車、卡車）的少量真實數據。

gt數據注釋包含每個對象的以下屬性：

?3D位置（x、y、z）

?3D旋轉（rx、y、rz）

?3D尺寸（w、l、h）

?類信息

?不確定性（位置、尺寸）

數據格式都是非專有的標準圖像和點云格式，3D目標檢測gt采用文本格式。如[7]所示，本文沒有為目標檢測算法的標準化評估和排序提供正式的基準測試套件，因為這將要求保留測試數據，以避免對評估測試集進行過度設置。這帶來了一個有趣的問題，因為作者也在研究和開發基于這些數據的目標檢測算法，這將是唯一能夠完全控制gt真實數據的算法。圖4顯示了激光雷達和雷達傳感器的點云密度分布，圖5顯示了不同類別的地面實況對象分布。在圖7中展示了地面實況數據中汽車的示例性定向和空間分布。

?

?

2RADIal

雷達傳感器憑借其對惡劣天氣條件的魯棒性和測量速度的能力，20多年來一直是汽車領域的一部分。汽車雷達自90年代后期開始生產。它們是自適應巡航控制、盲點檢測和自動緊急制動功能的首選、最便宜的傳感器。然而，它們的角度分辨率較差，這阻礙了它們在自動駕駛系統中的應用。事實上，此類系統需要高水平的安全性和魯棒性，通常通過冗余機制實現。雖然通過融合多個模態改善了感測，但只有當每個傳感器都達到足夠和可比的性能時，整體組合才有效。高清晰度（HD）成像雷達已經出現以滿足這些要求。通過使用密集的虛擬天線陣列，這些新傳感器在方位角和仰角（分別為水平和垂直角位置）上實現了高角度分辨率，并產生了更密集的點云。最近在高清晰度（HD）成像雷達方面取得的進展已將角度分辨率降低到度以下，從而接近激光掃描性能。然而，高清雷達提供的數據量和估計角位置的計算成本仍然是一個挑戰。本文提出了一種新的高清雷達感測模型FFT-RadNet，它消除了計算距離-方位-多普勒3D張量的開銷，學習從距離-多普勒頻譜恢復角度。FFTRadNet被訓練來檢測車輛和分割自由駕駛空間。在這兩項任務上，它都與最新的基于雷達的模型競爭，同時需要更少的計算和內存。此外還收集并注釋了來自同步汽車級傳感器的2小時原始數據（相機、激光、高清雷達）在各種環境（城市街道、高速公路、鄉村道路）中的應用。這個獨特的數據集稱之為RADIal，意為“雷達、激光雷達等”。

RADIal包括一套3個傳感器（相機、激光掃描儀、高清雷達），并配有GPS和車輛的CAN軌跡，以原始格式記錄25k個同步樣本。（a） camera圖像，投影激光點云為紅色，雷達點云為靛藍，車輛標注為橙色，自由駕駛空間注釋為綠色；（b） 帶有邊界框注釋的雷達功率譜；（c） 鳥瞰圖中的自由駕駛空間標注，車輛標注橙色邊界框，雷達點云標注靛藍，激光點云標注紅色；（d） 與雷達點云和激光點云疊加的笛卡爾坐標中的距離方位圖；（e） GPS軌跡為紅色，里程軌跡重建為綠色；

如下表所示，除相機外，所有傳感器均為汽車級合格傳感器。除此之外，還提供了GPS位置和車輛的完整CAN總線（包括里程表）。傳感器信號以原始格式同時記錄，無需任何信號預處理。對于高清雷達，原始信號是ADC。根據ADC數據，可以生成所有常規雷達表示：距離方位-多普勒張量、距離方位和距離多普勒視圖或點云。RADIal包含約1-4分鐘的91個序列，共2小時。這總計約為25k個同步幀，其中8252個標有9550輛車輛（詳見附錄A）。車輛注釋由圖像平面中的2D框以及到傳感器的真實距離和多普勒值（相對徑向速度）組成。雷達信號的注釋很難實現，因為RD頻譜表示對人眼沒有意義。

?

3K-Radar

不同于使用可見光帶（384～769太赫茲）和使用紅外波段的激光雷達（361～331太赫茲），雷達使用相對較長波長的無線電頻帶（77～81GHz），導致在不利天氣下的穩健測量。然而，與現有的相機和激光雷達數據集相比，現有的雷達數據集只包含相對較少的樣本。這可能會阻礙基于雷達感知的復雜數據驅動深度學習技術的發展。此外，大多數現有雷達數據集僅提供3D雷達張量（3DRT）數據，該數據包含沿多普勒、距離和方位維度的功率測量。由于沒有高程信息，因此從3DRT估計對象的3D邊界框是一項挑戰。本文介紹了KAIST雷達（K-Radar），這是一個新的大規模目標檢測數據集和基準，它包含35K幀的4D雷達張量（4DRT）數據，以及沿多普勒、距離、方位和海拔維度的功率測量，以及仔細標注的道路上目標的3D邊界框標簽。

K-Radar包括各種道路結構（城市、郊區道路、小巷和高速公路）上的惡劣天氣（霧、雨和雪）等具有挑戰性的駕駛條件。除了4DRT之外，還提供經過仔細校準的高分辨率激光雷達、stereo相機和RTK-GPS的輔助測量。論文還提供了基于4DRT的目標檢測基線神經網絡（基線NN），并表明高度信息對于3D目標檢測至關重要。通過將基線神經網絡與基于激光雷達的類似結構的神經網絡進行比較，證明了4D雷達對于惡劣天氣條件是一種更為魯棒的傳感器。

惡劣天氣條件下的大部分畫面是在韓國的江原道收集的，該省是全國年降雪量最高的省份。另一方面，帶有城市環境的框架大多在韓國的大田收集。數據收集過程產生35K幀的多模態傳感器測量值，構成K-Radar數據集。根據附錄C中列出的標準將收集的數據分為幾個類別。此外，本文將數據集劃分為訓練集和測試集，使每個條件以平衡的方式出現在兩個集中，如圖4所示，在距離自車輛120米的縱向半徑和80米的橫向半徑范圍內，道路上的物體（即轎車、公共汽車或卡車、行人、自行車和摩托車）有93.3K的3D邊界框標簽。請注意，只注釋出現在正縱軸上的對象，即自我載體前面的對象。

圖5展示了K-Radar數據集中的目標類別分布和距電子飛行器的目標距離，K-Radar可用于評估不同距離物體的3D目標檢測網絡的性能。

?

詳細的數據集信息：

?

?

?

4TJ4DRadSet

下一代高分辨率汽車雷達（4D雷達）可以提供額外的高程測量和更密集的點云，這在自動駕駛中具有巨大的3D感測潛力。本文介紹了一個名為TJ4DRadSet的數據集，該數據集包含用于自動駕駛研究的4D雷達點。數據集是在不同的駕駛場景中收集的，總共有7757個同步幀，共有44個連續序列，并用3D邊界框和軌跡ID進行了很好的注釋。我們為數據集提供基于4D雷達的3D物體檢測基線，演示了深度學習方法對4D雷達點云的有效性。

對于自動駕駛車輛來說，高可靠性、低成本、高分辨率的感知模塊是必不可少的。目前，感知模塊主要使用相機、激光雷達和汽車雷達等傳感器獲取不同模式的環境信息。不可否認，相機和激光雷達易受惡劣條件的影響，如雨、霧和強光，其性能將隨著逆境的增加而顯著下降。相比之下，汽車雷達是必不可少的，因為它具有強大的魯棒性和成本效益。由于方位分辨率低，傳統的汽車雷達僅用于盲點檢測、碰撞警告和其他駕駛輔助應用。新一代4D雷達的出現彌補了傳統汽車雷達的低清晰度，并提供了高度測量，非常適合于高級自動駕駛應用。4D雷達的四個維度是距離、方位、高度和多普勒速度。它還提供了一些其他低級特征，如雷達截面（RCS）或信噪比（SNR）。

TJ4DRadSet的數據集是一個自動駕駛數據集，包含連續序列的4D雷達點云，并帶有3D注釋，它還提供了激光雷達、相機和GNSS的多模態完整信息。TJ4DRadSet包含40K幀的同步數據，其中7757幀，44個帶有高質量注釋3D邊界框和軌跡的序列ID。3D注釋系統使用聯合多傳感器注釋和多輪手動檢查。TJ4DRadSet涵蓋各種道路條件，如高架道路、復雜交叉口、單向道路和城市道路。它還包括惡劣的照明條件，如強光和黑暗。該數據集適合于開發基于4D雷達的3D感知算法，以促進其在高級自主駕駛中的應用。

?

編輯：黃飛

?