色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于激光雷達和視覺融合的機器人SLAM應用研究

iotmag ? 來源:物聯網技術 ? 作者:物聯網技術 ? 2022-09-20 10:31 ? 次閱讀

摘 要 :通過研究激光雷達和視覺傳感器融合 SLAM,實現雙目視覺傳感器對單線激光雷達點云的補充,以提高建圖精度。實現方案以 2D 激光雷達點云數據為主,雙目視覺傳感器作為激光雷達點云盲區的補充,搭建 SLAM實驗平臺,完成機器人實時地圖構建并獲取當前位置信息,同時降低攜帶傳感器的成本。

0 引 言

隨著機器人技術的發展,越來越多的機器人已經實現自主運動,但可靠性和制作成本依然制約著機器人的普及。通過使用相較3D激光雷達傳感器成本更低的2D激光雷達和視覺傳感器進行點云數據融合,實現平臺搭建,優化機器人的SLAM技術,解決當前2D激光雷達存在的感知單一平面點云數據不足、視覺傳感器數據計算量大等問題[1-2],提升地圖精度,減少SLAM應用過程中的不確定性。

1 實驗平臺搭建

研究基于ROS構建由2D激光雷達和深度相機點云融合的SLAM[3]平臺,通過NVIDIA Jetson TX2運算平臺和STM32微控制器通信傳送數據,實現機器人自主運動。實驗平臺包括點云數據識別部分和運動部分,整體結構如圖1所示。

云數據識別部分包括激光雷達獲取平面點云數據和雙目相機深度點云計算。運行時激光雷達獲取2D平面內障礙物點云信息,雙目相機獲取機器人正面范圍的影像[4],通過Stereo Matching 計算可視范圍內的深度點云數據,并對其進行范圍剔除和距離篩選 ;最后將雙目相機獲得的點云與激光雷達點云序列進行比較更新,融合點云數據后根據占據柵格地圖算法構建地圖[5]。點云數據融合過程如圖1所示。

運動部分通過單片機STM32F4從NUC獲取運動速度向量或從遙控中獲取控制信息,經PID解算將電流或電壓值發送給底盤電機,電機連接聯軸器帶動麥克納姆輪轉動,從而實現全方向移動[6]。機器人整體設計如圖1所示。

7a630f70-388a-11ed-ba43-dac502259ad0.png

2 研究與測試

圍繞ROS節點話題進行研究和測試。雙目相機點云生成節點(cameraNode),將相機點云(/camera_cloud)傳送給點云數據處理節點(/transNode)處理,得到深度數據(/depth);激光雷達點云生成節點,得到點云數據(/laser),二者由點云合成節點(/mergeNode)融合得到點云數據(/scan),再將其輸出到 HectorMapping 的節點。點云融合建圖部分 ROS 節點與話題如圖2 所示 [7]。

7aaea426-388a-11ed-ba43-dac502259ad0.png

2.1 雙目校正與像素匹配

使用金乾象工業相機中的兩個自制雙目深度相機,需要保證左右畫面的同步和亮度,否則會導致深度圖的計算結果不佳。因此,在相機點云生成(/camera_cloud)之前,需要對左右相機讀取的原圖像進行雙目校正和像素匹配。

雙目校正根據攝像頭標定后獲得的單目內參(焦距、成像原點、畸變系數)和雙目相對位置關系(旋轉矩陣和平移向量),分別對左右視圖進行消除畸變和行對準,使得左右視圖的成像原點坐標一致、攝像頭光軸與對極線行對齊。原圖像與校正后圖像對比情況如圖3所示。

7aceade8-388a-11ed-ba43-dac502259ad0.png

像素匹配通過匹配代價計算、代價聚合、視差計算和視差優化等步驟 [8],對左右視圖上對應的像素點進行匹配得到視差圖。依靠視差圖,結合雙目相機的內參,計算得到正交空間下的點云數據。

2.2 點云數據處理

由于雙目相機參數的差異,幀速率不能完全同步,獲取的點云數據存在一定誤差,需要先通過點云數據處理節點(/transNode)變換和剔除數據,再通過點云合成節點(/mergeNode)融合同種格式的數據。

正交空間下的點云通過透視除法的逆變換得到相機空間下的點云數據,獲得相對于相機實際位置的坐標。坐標變換與效果如圖4所示。

7b37d098-388a-11ed-ba43-dac502259ad0.png

數據轉換部分將點云投影到二維平面,并轉換為激光雷達點云格式的數據,即角度和對應方向的深度值[9]。轉換時,通過反正切函數,根據點云位置的水平偏移與深度值計算出角度和距離值,篩選取得各個角度上距離最近的點云,效果如圖5所示。在融合點云之前,應當剔除視錐內不需要的部分,效果如圖5中截取點云后的投影圖所示 ;否則地面和天花板將對投影后的點云造成影響,效果如圖5中的原點云投影圖所示??紤]到雙目左右圖像的邊緣缺少完整的匹配信息,點云可能出現極不穩定的深度值,效果如圖5中未進行邊緣剔除的投影圖所示。因此,在能夠反映完整深度值的情況下,剔除部分邊緣深度值,效果如圖5中邊緣剔除后的投影圖所示。

7b882d72-388a-11ed-ba43-dac502259ad0.png

2.3 點云融合建圖

點云合成節點將深度數據和激光雷達點云數據融合,并篩選出各個角度距離最近的點云輸出到 HectorMapping 的節點。

經過測試,增加雙目相機后的建圖能夠獲取單線雷達掃描平面外的細節,自身位姿估計和建圖結果更加精確,測試對比結果如圖6所示。但與工業級產品相比穩定性差,建圖過程中會有微小偏差。

7ba9c234-388a-11ed-ba43-dac502259ad0.png

3 結 語

本文通過激光雷達提供大范圍點云信息,視覺傳感器提供機器人正面區域補充激光雷達缺失的點云,較單線雷達大范圍稀疏點云提高了計算準確度,使用Hector SLAM算法融合點云數據,更好地實現機器人點云獲取和建圖[10]。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 機器人
    +關注

    關注

    211

    文章

    28526

    瀏覽量

    207579
  • 雷達
    +關注

    關注

    50

    文章

    2951

    瀏覽量

    117710
  • 視覺傳感器
    +關注

    關注

    3

    文章

    251

    瀏覽量

    22908
  • 激光雷達
    +關注

    關注

    968

    文章

    3991

    瀏覽量

    190094

原文標題:論文速覽 | 基于激光雷達和視覺融合的機器人 SLAM 應用研究

文章出處:【微信號:iotmag,微信公眾號:iotmag】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    AI驅動的人形機器人,成為激光雷達產業的下一個爆發點

    電子發燒友網報道(文/梁浩斌)過去兩年,激光雷達跟隨ADAS在電動汽車上大放異彩。作為視覺感知基礎上的進階感知硬件,激光雷達機器人領域的應用,也開始隨著人形
    的頭像 發表于 12-23 09:07 ?882次閱讀

    禾賽科技推出面向機器人領域的迷你3D激光雷達

    近日,在拉斯維加斯舉行的 CES 2025 國際消費電子展上,禾賽面向機器人領域的迷你 3D 激光雷達 JT 系列產品正式面向全球發布。全新產品迷你型 3D 激光雷達 JT 系列發布即交付,已向客戶交付超過 2 萬顆。
    的頭像 發表于 01-10 09:05 ?210次閱讀

    【「具身智能機器人系統」閱讀體驗】2.具身智能機器人的基礎模塊

    具身智能機器人的基礎模塊,這個是本書的第二部分內容,主要分為四個部分:機器人計算系統,自主機器人的感知系統,自主機器人的定位系統,自主機器人
    發表于 01-04 19:22

    禾賽科技成為全球首個單月交付10 萬臺的激光雷達企業

    禾賽科技 12 月激光雷達交付量突破 100,000 臺,成為全球首個達成單月交付量超過 10 萬臺的激光雷達企業。值得一提的是,禾賽面向機器人市場單月交付激光雷達超過 20,000
    的頭像 發表于 12-31 18:41 ?713次閱讀
    禾賽科技成為全球首個單月交付10 萬臺的<b class='flag-5'>激光雷達</b>企業

    禾賽科技激光雷達交付量突破十萬臺大關

    尤為亮眼,特別是在機器人市場領域。據悉,禾賽科技面向機器人市場的單月激光雷達交付量超過了20,000臺,這一數字覆蓋了移動機器人、配送機器人
    的頭像 發表于 12-31 14:45 ?132次閱讀

    禾賽科技12月激光雷達交付量突破10萬臺

    禾賽科技 12 月激光雷達交付量突破 100,000 臺,成為全球首個達成單月交付量超過 10 萬臺的激光雷達企業。值得一提的是,禾賽面向機器人市場單月交付激光雷達超過 20,000
    的頭像 發表于 12-30 14:52 ?118次閱讀

    《具身智能機器人系統》第1-6章閱讀心得之具身智能機器人系統背景知識與基礎模塊

    關鍵路徑:利用GNSS和IMU等傳感器直接獲取位置信息,同時通過攝像頭、激光雷達獲取環境距離信息反向推算位置。在數據處理環節,采用卡爾曼濾波器和最大后驗估計方法融合多傳感器數據,優化機器人位置和運動狀態
    發表于 12-19 22:26

    激光雷達SLAM:全面掌握同步定位與地圖構建指南

    ? SLAM 背后的核心思想是讓機器人或自主系統能夠探索未知環境并創建該環境的地圖,同時確定其在生成的地圖中的位置。這是通過融合來自各種傳感器(例如激光雷達、攝像頭和慣性測量單元 (I
    的頭像 發表于 11-16 10:57 ?732次閱讀

    激光雷達SLAM算法中的應用綜述

    一、文章概述 1.1 摘 要 即時定位與地圖構建(simultaneous localization and mapping,SLAM)是自主移動機器人和自動駕駛的關鍵 技術之一,而激光雷達則是支撐
    的頭像 發表于 11-12 10:30 ?836次閱讀
    <b class='flag-5'>激光雷達</b>在<b class='flag-5'>SLAM</b>算法中的應用綜述

    激光雷達技術的基于深度學習的進步

    信息。這使得激光雷達在自動駕駛、無人機、機器人等領域具有廣泛的應用前景。 二、深度學習技術的發展 深度學習是機器學習的一個分支,它通過模擬人腦的神經網絡結構來處理和分析數據。近年來,深度學習技術在圖像識別、語音
    的頭像 發表于 10-27 10:57 ?437次閱讀

    基于FPGA的激光雷達控制板

    激光雷達作為一種高精度、高性能的傳感技術,廣泛應用于自動駕駛、機器人導航、工業自動化、無人機等應用領域。激光雷達控制板可以很好的滿足這些領域中對于精準控制和數據處理的需求?;贔PGA的激光雷
    的頭像 發表于 05-28 08:11 ?709次閱讀
    基于FPGA的<b class='flag-5'>激光雷達</b>控制板

    視覺機器人焊接的研究現狀

    視覺機器人焊接技術是將計算機視覺機器人技術相結合,實現自動焊接過程中的實時檢測、跟蹤和控制。這一領域的研究一直處于不斷發展之中,吸引了眾多
    的頭像 發表于 04-02 15:34 ?546次閱讀
    <b class='flag-5'>視覺</b><b class='flag-5'>機器人</b>焊接的<b class='flag-5'>研究</b>現狀

    視覺、激光、結構光?掃地機器人導航避障技術盤點

    的核心標準。 目前主流的掃地機器人導航避障技術路徑為雙目視覺、激光雷達、3D結構光(線激光)三條,每條技術路徑都存在著各自的特點。 視覺方案
    的頭像 發表于 02-01 16:01 ?1342次閱讀

    做一個激光雷達,需要哪些基本部件?

    激光雷達(LiDAR)是激光探測及測距系統的簡稱,目前廣泛應用在無人駕駛和掃地機器人等領域。這種廣泛的應用一方面得益于激光雷達的性能提升,一方面也得益于其成本的下降。
    發表于 01-19 14:22 ?1183次閱讀
    做一個<b class='flag-5'>激光雷達</b>,需要哪些基本部件?
    主站蜘蛛池模板: 亚洲国产精品99久久久久久| 久久性综合亚洲精品电影网| 亚洲欧美国产综合在线| 欧美日韩一级黄色片| 久草在在线免视频在线观看| 父皇轻点插好疼H限| 66美女人体| 亚洲毛片网| 天天综合亚洲综合网站| 欧美video巨大粗暴18| 九九黄色大片| 国产精品免费大片一区二区| WWW国产色情在线观看APP| 伊人久久大香线蕉综合亚洲| 谁有成人网站地址| 欧美做真爱欧免费看| 美女扒开屁股让男人桶| 久久精品亚洲热综合一本| 国产亚洲精品久久久久久线投注 | 色婷婷综合久久久久中文一区二区| 伦理 电影在线观看| 久久艹综合| 含羞草完整视频在线播放免费 | 亚洲人成人毛片无遮挡| 视频一区国产第一页| 日本精品久久无码影院| 欧美高清18| 欧美派对xxxhdparty| 欧美A级肉欲大片XXX| 免费无码国产欧美久久18| 毛片在线看片| 美国ZOOM动物在线观看| 老师洗澡让我吃她胸的视频 | 国产69精品久久久久观看软件| chinese东北夫妻video| 97色在线视频| 最近2019中文字幕免费| 2023国产精品一卡2卡三卡4卡| 80岁色老头69av| 97无码欧美熟妇人妻蜜| 97精品少妇偷拍蜜桃AV|