點云分割是點云處理的一個關鍵環節，其分割質量決定了目標測量、位姿估計等任務的精確與否。

1、引言

目前，以立體成像技術為核心的立體相機獲得了多樣性發展，例如雙目相機、單目結構光 相機、 TOF（timeofflight）相機等，其獲得的深度圖像（RGB-D）是在RGB 數據基礎上融合了深度數據， 在參考相機內參下深度圖像可轉化為點云數據。根據立體相機的三維數據重建感興趣區域（ROI），目標區域表面信息和背景信息的數據是混合在一起的，這給后續目標的三維測量和分析處理帶來了一 定難度，因此采用點云分割技術進行目標區域和背 景點云分離是必要的途徑。

點云分割就是將數據分割成若干個互不相交的子集。點云分割的問題一般分為4類： 1）具有 人類視覺意義的形狀確定 2）獲取點云中與空間方位無關的幾何特征 3）點云中各個形狀邊界的確定 4）具有一致性的分割結果。 目前的點云分割方法分為兩類，即主要處理點與點之間拓撲關系的傳統方法和基于深度學習的方法。

立體相機與激光雷達的不同之處在于拍攝場景信息所得的RGB-D數據具有物體表面的顏色紋理信息。不同于點云拓撲關系和深度學習的點云分割，本文介紹了一種采用點云空 間投影的RGB-D點云分割技術，首先介紹采用圖像閾值的點云分割和利用靶標世界坐標系的點云分割兩種基礎方法， 將在世界坐標系中的靶標作為參考旋轉點云，并將其投影至坐標系水平面（XOY）上，利用圖像的形態學獲得目標顯著區域，進而獲得目標點云數據。

2、圖像閾值與點云關系模型

2.1 相機數學模型

攝像機數學模型采用小孔成像的原理，在笛卡兒空間中建立景物點與成像點之間的映射關系。令點P=（Xw，Yw，Zw）為像素p（u，v）投射在世界坐標系中的點，（u，v，1）是點p在像素坐標系中的齊次坐標;（Xw，Yw，Zw，1）是點 P 在世界坐標系中的 齊次坐標。那么兩個坐標的關系為

2.2 圖像閾值與點云的關系模型

RGB-D數據來自立體相機中RGB相機和 Depth相機，由于相機空間視角不同，兩組原始數據中RGB數值與深度數值不匹配。在標定立體相機的外參數后，建立RGB像素值與 Depth數值兩者之間的一一對應關系。采用圖像閾值的點云分割基本思路：根據圖像像素和點云的對應關系進行圖像分割，獲得目標區域點云。

3、采用空間投影的點云分割方法

3.1 建立靶標世界坐標系 立體相機中依據 RGB 相機和Depth相機的外參數，可以把Depth相機生成的點云轉換到相機坐標系下。參考棋盤格建立世界坐標系。利用靶標世界坐標系可實現一定程度的點云分割，其基本思路是：由于場景三維點云的空間尺度與世界坐標系的空間尺度具有一致性，通過建立世界坐標系并確定待測物體在世界坐標系中的空間區域，可分割映射到世界坐標系里的點云。

如圖1（a）所示，pc（xc，yc，zc）為相機坐標系中的點云，Pw （Xw，Yw，Zw）是世界坐標系中的點云，由（1）式可得

如圖1（b）所示，由于靶標板（標定板）所指定的 坐標系相對于棋盤格角點所建立的世界坐標系有一 定的偏移，這里采用補償的方式進行坐標系校正。設靶標的厚度為 Δz，世界坐標系原點在待測區域的X和Y軸的偏移分別為Δx 和Δy，補償偏移量Δl3×1=［Δx Δy Δz］T，則（6）式可進一步表示為

3.2 采用空間投影的點云分割方法 參考前述的圖像閾值、靶標世界坐標系與點云區域的關系，為了突出目標區域以實現點云分割，可將點云的觀測視角旋轉至俯視角度（鳥瞰視角），如圖2所示，這樣可減少背景點云信息，使目標點云呈現更多信息，采用相機模型將點云投影至相機的圖像像素。在得到旋轉投影后場景的二維圖像后，采用圖像閾值分割的方法可快速地得到目標閾值范圍，還原后得到場景分割的目標點云。

參考（6）式得到世界坐標系中的點云 Pwl（Xwl， Ywl，Zwl），將其變換到場景點云的俯視角時，有：

根據單目攝像機模型，可以得到點云對應的二值圖像坐標為：

4、結果對比

4.1 場景點云獲取

為了驗證算法的可行性，搭建系統硬件，如圖3 所示，系統 包 括 靶 標 （尺 寸 規 格：棋 盤 格 角 點 數 為 5×7，方格大小為 34 mm×34mm）、雙目攝像機 （MER-500-7UM）、8mm定焦鏡頭、投影儀（BenQ） 和上位機［2.53GHzIntel（R）Core （TM）2Duo CPU，2GBRAM］。 待測場景如圖4（a）~（c）所示， RGB-D點云采用投影儀投射格雷碼編碼光柵和攝像機拍攝其光柵解碼所得，其中包含1幅明、暗視場 圖像以及40幅正交格雷碼編碼光柵圖像。建立三個層疊的米袋場景（場景1#、2#、3#），分別獲取整個場景并分割其米袋區域點云數據。根據張氏標定方法建立的靶標坐標系，獲得外參數矩陣［R3×3t3×1］，將三個場景點云映射到世界坐標系中，場景圖片在靶標坐標系中的點云如圖 4（d）~（f）所示。

利用圖像閾值與點云關系實現點云分割，首先獲得場景RGB圖，利用標定參數進行徑向與切向畸變校正，結果如圖5（a）所示;利用最大類間方差法 （Otsu）對校正后的場景圖進行處理，以突出感興趣區域，結果如圖5（b）所示。

其次，對感興趣區域中的空洞進行形態學處理，即空洞填充;建立點云坐標與圖像像素坐標的映射關系，并判斷所映射的點云是否在圖像感興趣區域里。最后分割出映射到感興趣區域的點云數據，如圖5（c）所示。 采用靶標坐標系與點云區域實現點云分割，首先測量并確定目標物體的待放置空間區域，把靶標板放置在待測量物體區域內，根據靶標板手工測量或設計的規格參數確定 X 軸偏移量 Δx、Y 軸偏移 量 Δy 和靶標板厚度 Δz。其次，在攝像機標定過程 中，確定世界坐標系 X 軸和Y 軸方向，如圖5（d）所示;并利用（6）、（7）式把相對于攝像機坐標系的點云映射到依據靶標板所建立的世界坐標系中，如圖5（e）所示。最后，利用參考測量限定目標物體放置區域，實現目標點云分割，如圖5（f）所示。 在圖像閾值和靶標世界坐標系的基礎上可采用點云空間投影進行點云分割，首先測量并確定目標物體的待放置空間區域，把靶標放置在待測量物體的區域內，確定X軸偏移量Δx、Y 軸偏移量 Δy 和靶標板厚度 Δz。其次，在攝像機標定過程中，確定世界坐標系X 軸和Y 軸方向。利用（9）式把點云視角變換至場景俯視角度，利用（13）、（14）式把三維點云映射到二維圖像中，如圖5（g）所示。 利用形態學對獲得的二維圖像進行膨脹處理，如圖5（h）所示， 利 用連通域方法進行感興趣區域圖像分割，如圖5（i） 所示。最后根據建立的點云與像素之間的映射關系， 還原圖像閾值分割所對應的點云區域，如圖5（j）所示。

4.2 結果對比分析 點云分割實驗分別采用圖像閾值分割 （算法 I）、靶標坐標系（算法II）、空間投影（算法III）以及與 Halcon中的基于區域的方法（算法Ⅳ）進行對比分析，對不同算法的參考點云總數和分割后點云數 進行對比，如表1所示。

4種方法實現的點云分割（場景1#~3#的點云區域）結果如圖6所示。利用圖像閾值和點云映 射關系實現的點云分割如圖6（a）~（c）所示。立體相機的外參數誤差和相機非線性映射關系等導致攝像機坐標系下的點云坐標與圖像像素坐標的對應關系存在一定的誤差。與此同時，點云分割密度直接受圖像閾值分割好壞的影響，在場景復雜且感興趣區域閾值分割較差的情況下，點云分割不理想。采用靶標世界坐標系和點云區域模型實現的點云分割 如圖6（d）~ （f）所示。

根據靶標坐標系的點云分割，需要測量感興趣區域的物理空間區域和應用攝像機RGB圖像建立相應的參考坐標系，根據測量目 標區域范圍可在不改變點云密度的情況下快速有效 地分割出目標物點云。基于空間投影的點云分割方法，在目標物區域建立世界坐標系，利用坐標系變換 改變目標物點云投射視角，以突出目標物的閾值特征，實現點云分割，如圖6（g）~（i）所示。基于空間投影的點云分割結果邊界清晰且質量較佳，但由于其融合圖像閾值和靶標坐標系算法，其執行速度相 對慢一些。Halcon視覺開發平臺中基于區域的點云分割方法，采用點云三角化后，根據區域的點、直徑、三角等結構元素數值選定點云區域，結果如圖 6（j）~（l）所示。

責任編輯：lq6