引言
在科技迅速發(fā)展的當下，人形機器人正變得日益重要，其應用范圍從工業(yè)自動化到服務業(yè)不斷擴展。本文將通過Mercury X1大象人形機器人的案例，探討如何利用尖端技術(shù)如大型語言模型（LLM）、同時定位與映射（SLAM）、機器人操作系統(tǒng)（ROS）、開源計算機視覺（OpenCV）和S-Tag標記碼技術(shù)來實現(xiàn)復雜環(huán)境中的精確物體抓取和移動。

此案例不僅展示了機器人的高級功能，也體現(xiàn)了現(xiàn)代機器人如何有效解決實際問題，預示著未來技術(shù)在工業(yè)和服務業(yè)中的應用前景。接下來的內(nèi)容將詳細說明實驗的技術(shù)設置、步驟與成果。

技術(shù)點介紹
在Mercury X1的應用案例中，整合了多種技術(shù)使得機器人能夠在復雜的環(huán)境中執(zhí)行精準的物體抓取和移動任務。以下是案例中涉及到的關(guān)鍵技術(shù)和詳細介紹：

1.LLM（Large Language Model）
大型語言模型（LLM）如ChatGPT系列，在機器人技術(shù)中的應用允許機器人理解和執(zhí)行基于自然語言的指令。這種模型通過處理大量的文本數(shù)據(jù)學習語言的復雜性和上下文關(guān)系，使機器人能夠解析用戶的指令并轉(zhuǎn)化為動作。

將一個對話形式的大語言模型，嵌入到機器人當中是目前一種比較熱門的一種技術(shù)。

在Mercury X1機器人中，LLM用于理解自然語言解釋操作命令，為后續(xù)的動作提供給決策。

2.同時定位與建圖SLAM
SLAM技術(shù)是現(xiàn)代機器人和自動駕駛汽車中不可或缺的一部分，它允許機器人在沒有外部幫助的情況下，在未知環(huán)境中進行定位和地圖創(chuàng)建。通過使用激光雷達、攝像頭和其他傳感器，SLAM幫助Mercury X1機器人構(gòu)建環(huán)境地圖，實時更新其位置，并規(guī)劃行動路徑。這對于確保機器人在復雜環(huán)境中能夠自主導航至關(guān)重要。

3.機器人操作系統(tǒng) (ROS)
機器人操作系統(tǒng)（ROS）是一個靈活的框架，用于編寫機器人軟件。它提供了一系列工具和庫，使開發(fā)者能夠構(gòu)建復雜而可靠的機器人行為。ROS的模塊化設計允許Mercury X1機器人的開發(fā)者輕松集成不同的硬件和軟件比如說機械臂的路徑規(guī)劃，移動地盤的建圖導航避障等功能，處理數(shù)據(jù)通信，并管理多個傳感器和執(zhí)行器之間的交互。

ROS是一個非常強大的工具，在機器人應用領(lǐng)域當中，在全球范圍內(nèi)也是非常多人使用的。

4.開源計算機視覺庫 (OpenCV)
OpenCV是用于實現(xiàn)圖像處理和計算機視覺的開源庫，它在本次的案例中扮演了至關(guān)重要的角色，沒有它就不能完成這個項目。機器人的攝像頭通過OpenCV分析收集到的視覺數(shù)據(jù)，識別和定位物體。OpenCV的算法使機器人能夠識別物體形狀、大小和精確坐標，這些信息對于精確抓取和操作至關(guān)重要。

提供了物體的坐標給機器人，就可以實現(xiàn)精準的抓取。

5.S-Tag標記碼技術(shù)
S-Tag標記碼是一種高度可靠的標識系統(tǒng)，設計用于在視覺上挑戰(zhàn)的環(huán)境中提供準確的標記識別。這些標記被用于標識Mercury X1機器人操作環(huán)境中的物體和位置。即使在光線不足或視線受阻的情況下，S-Tag也能確保機器人通過其攝像頭系統(tǒng)準確識別目標物體。

https://youtu.be/vnHI3GzLVrY

6.pymycobot
pymycobot是用于控制Mercury X1機器人機械臂和末端執(zhí)行器（如夾爪）的Python庫。它允許開發(fā)者精確控制機械臂的角度、坐標以及運動模式，包括差補模式和刷新模式。此庫為機器人提供了高度的靈活性和可定制性，使得機器人能夠執(zhí)行復雜的抓取和操控任務，并適應各種操作需求。

產(chǎn)品介紹
Mercury X1
Mercury X1是由Elephant Robotics開發(fā)的一款先進的人形機器人，特別設計用于應對各種自動化任務。它擁有19個自由度，（單臂7個自由度）使其在執(zhí)行任務時具有極高的靈活性和適應性。Mercury X1配備了輪式移動底座，由高性能直驅(qū)電機驅(qū)動，能夠在復雜環(huán)境中穩(wěn)定移動，并具備高達8小時的電池續(xù)航能力，適合個人和商業(yè)應用。

這款機器人采用高性能主控制器系統(tǒng)，配置了NVIDIA Jetson Xavier提供強大的計算支持，以處理視覺測距、傳感器融合、定位與地圖構(gòu)建、障礙檢測和路徑規(guī)劃等復雜算法。此外，Mercury X1的移動基座裝備了LiDAR、超聲波傳感器和2D視覺系統(tǒng)，能夠?qū)崿F(xiàn)高感知的環(huán)境交互。

myCobot Pro Adaptive Gripper
2 指自適應夾持器可實現(xiàn)內(nèi)部和外部平行夾持，以及獨特的環(huán)繞式夾持模式。它可以拾起任何形狀的任何物體并且不會松開。使用它來完成一系列完整的應用，并快速投入生產(chǎn) - 無需機器人專業(yè)知識。它是高度靈活和可靠的機器人單元的關(guān)鍵。

myCobot Pro Camera Flange
使用USB-B數(shù)據(jù)線能夠獲取到圖像的相機模組。

接下來，我們將探討這些技術(shù)在實際應用中是如何被集成到機器人中，并展示其在具體任務中的表現(xiàn)。

場景流程介紹
建圖設立標記點
建圖：首先在所處的環(huán)境里，使用Mercury X1自帶的雷達，通過ROS中的SLAM技術(shù)進行建圖，用的是gmapping算法進行2D建圖。啟動機器人，對系統(tǒng)進行初始化，在所處的環(huán)境中移動，通過雷達傳感器收集數(shù)據(jù)，SLAM算法將這些數(shù)據(jù)轉(zhuǎn)化為一個結(jié)構(gòu)化的地圖，同時實時更新機器人的位置，為了確保地推的準確性，建議在環(huán)境中多移動會。

標記A,B點：在RViz中使用“Publish Point”工具，在地圖上點擊想要標記的位置，就會發(fā)布一個點到ROS的默認話題，重復這個過程在B點也進行標記，記錄下A,B點的坐標

在程序中修改好保存的點位，之后就可以進行定點巡航了。

移動到A桌，進行物體的識別與抓取
完成完上一步驟之后，Mercury X1運動到A桌進行物體的抓取。

因為物體的檢測是根據(jù)手臂末端的攝像頭進行的，所以在一開始未知的情況下，會對周圍的環(huán)境先進行一個巡視，發(fā)現(xiàn)目標之后快速計算目標物體的位置。

#掃描全部物體的代碼

复制def detect_objects_all(flag):
   if flag == 0:
       detect_objects("left", ml_camera_pos_a, camera_data_a)
       detect_objects("right", mr_camera_pos_a, camera_data_a)
       cube_data, tray_data = judge_tray_cube(camera_data_a)      else:
       ml.send_angles([-41.88, 30.62, -1.14, -102.57, 59.89, 58.11, 9.63], 10)
       mr.send_angles([45.94, 25.33, 0.15, -102.31, -58.65, 55.8, -13.94], 10)
       waitl()
       ml.set_gripper_value(0, 10)
       mr.set_gripper_value(0, 10)
       time.sleep(12)
       detect_objects("left", ml_camera_pos_b, camera_data_b)
       detect_objects("right", mr_camera_pos_b, camera_data_b)
       ml.set_gripper_value(50, 10)
       mr.set_gripper_value(50, 10)
       cube_data, tray_data = judge_tray_cube(camera_data_b)      return cube_data, tray_data

每個物體的表面都有貼有STag碼，可以通過標記碼來精準的獲得物體的坐標參數(shù)，在此獲得的物體坐標和機械臂的坐標并不在同一個坐標系當中，所以在機械臂的機器視覺算法當中，都會有一個世界坐標系，將物體的坐標，機械臂末端的坐標轉(zhuǎn)化為世界坐標，這樣就方便機械臂對物體進行抓取。

移動到B桌
拿著收納箱，前往B桌進行分類。

對物體進行分類
跟第二步，物體的識別和抓取的算法是一樣的，都是通過STag標記碼識別之后獲取物體的坐標進行分類。

技術(shù)難點
在開發(fā)過程中的難點最核心的是，雙臂人形機器人協(xié)同控制的問題，主要從以下幾個方面來分析：

精確的坐標和時間同步：
要精確計算兩個手臂的運動軌跡，確保它們在抓取托盤時能同時到達預定位置。這要求系統(tǒng)能夠同步控制兩個獨立的驅(qū)動系統(tǒng)，確保動作的協(xié)調(diào)性和同步性。

在Mercury X1夾爪托起托盤的時候，需要同時夾住托盤的邊緣并且同時抬起托盤，為了確保同步進行，避免一方提前抬起，預設了1s的時間進行等待。

复制def put_up_tray(tray_data):
   ml.set_gripper_value(60, 10)
   mr.set_gripper_value(60, 10)
   time.sleep(1)
   for tray in tray_data:
       offset, fact_bcl = get_obj_coords(tray["corners"], tray["ids"], tray["cur_coords"], tray['arm'])
       point = fact_bcl.copy()
       px, py, pz = point[0], point[1], point[2]
       if tray["ids"] == [4] and tray['arm'] == "left":
           af = (offset + 90) * pi / 180
           mc = ml
           Hei = 57
           Len = -20
       elif tray["ids"] == [5] and tray['arm'] == "right":
           af = (offset - 90) * pi / 180
           mc = mr
           Hei = 57
           Len = 30
       else:
           continue
       # p3
       px3 = px + Hei * cos(af) + Len * sin(af)
       py3 = py + Hei * sin(af) - Len * cos(af)
       pz3 = pz
       p3 = [px3, py3, pz3]
       mc.send_base_coord(6, offset, sp)
       mc.send_base_coord(2, py3, sp)
       mc.send_base_coord(1, px3, sp)
       mc.send_base_coord(3, pz - 10, sp)
   waitl()
   ml.set_gripper_value(0, 10)
   mr.set_gripper_value(0, 10)
   time.sleep(2)
   current_coordsl = ml.get_base_coords()
   current_coordsr = mr.get_base_coords()
   waitl()
   ml.send_base_coord(3, current_coordsl[2] + 20, 20)
   mr.send_base_coord(3, current_coordsr[2] + 20, 20)
   waitl()

力學平衡和穩(wěn)定性
在抓取大型或重物體時，雙臂的協(xié)調(diào)尤為重要。需要確保機器人在執(zhí)行任務時保持穩(wěn)定，避免因力學不平衡造成的傾倒或損壞。這涉及到復雜的力學計算和實時反饋調(diào)節(jié)。

在本次項目中，因為動作并不算是很復雜，只需要將托盤同時抬起，同時放下就能夠保證托盤的穩(wěn)定性。如果在復雜的場景，比如說用手持乒乓球拍保證乒乓球拍上的球不會掉落，這個涉及力學平衡和穩(wěn)定性就要考慮的多。

碰撞避免
在雙臂操作中，防止手臂之間、手臂與機器人體、手臂與環(huán)境之間的碰撞是一大挑戰(zhàn)。需要精確地規(guī)劃每個手臂的運動路徑，同時保持足夠的安全距離。

總結(jié)
此案例不僅凸顯了機器人技術(shù)在工業(yè)和服務領(lǐng)域的實際應用潛力，也展示了技術(shù)融合的重要性。通過詳細介紹技術(shù)背景、實施步驟和具體應用，我們看到了Mercury X1在提高生產(chǎn)效率、減少人工成本和應對復雜操作環(huán)境中的重要價值。

如果你對該案例感興趣的話麻煩點贊留言支持我們，你的支持是我們更新的動力！

審核編輯 黃宇