一、產品簡介

TL3568-PlusTEB人工智能實驗箱

國產高性能處理器

64 位 4 核低功耗

2.0 GHz超高主頻

1T 超高算力 NPU

兼容鴻蒙等國產操作系統

二、實驗目的

1、了解機械臂識別顏色抓取積木的基本流程；

2、掌握機械臂識別顏色抓取積木的實現方法。

三、實驗原理

顏色識別抓取積木

功能：實現識別出不同顏色的積木，機械臂夾取后并放在相應的位置中。機械臂通過攝像頭檢測算法識別不同顏色，物品擺放位置固定；對每個舵機編寫固定夾取路徑，不同顏色轉動角度不同。

實現原理

代碼重點劃分為三部分：顏色識別，機械臂抓取，機械臂復位。

（1）返回檢測到的紅色、綠色、藍色 (RGB) 清晰光感測值，根據RGB各個顏色占據比例區間，能夠判斷不同顏色；

（2）待夾取積木置于在特定位置上，故所有顏色機械臂夾取路徑一致，可以簡單的使用循環語句設置路徑，唯有轉動角度不同，設為形參即可；機械臂的完整抓取過程可提取為：

下放頂臂接近物體—>夾取—>抬高頂臂—>旋轉—>下放頂臂—>松爪—>復位。

其中不同顏色對應動作的不同之處僅僅在于底座舵機旋轉角度，故可設置一個通用的夾取函數，內置形參表示旋轉角度即可。多種顏色一個函數全部實現，精簡明了。

（3）抓取路徑只包含從開始夾取物品到松開機械爪物品放置在對應位置，最后只需要單獨設置機械臂的復位函數，方便調用。

四、實驗設備

實驗軟件

本實驗中使用的軟件為.VMware17+Ubuntu18.04.4 和串口調試工具Xshell。

實驗硬件

本實驗中使用的是TL3568-PlusTEB實驗箱，所需的配件為Micro SD卡、Type-C線、電源和網線。

五、實驗步驟

硬件連接

（1）將Ubuntu系統啟動卡插至Micro SD卡槽。

（2）使用Type-C線連接USB TO UART2調試串口到PC機。

（3）將實驗箱ETH0 RGMII網口（COM21）通過網線連接至路由器。

（4）連接實驗箱電源，先不要上電。

（5）實驗擺放位置按照黃色區域放置黃色積木塊，紅色區域放置紅色積木塊，綠色區域放置綠色積木塊，藍色區域放置藍色積木塊。

（6）將機械臂的攝像頭連接到實驗箱的USB2.0 HOST。

（7）使用MIcro USB線連接機械臂的USB口和實驗箱的USB2.0 HOST。

（8）連接機械臂的電源，上電。

軟件操作

（1）先在設備管理器查看串口的端口號；

（2）再設置串口調試工具，波特率設置為1500000，點擊連接，在Xshell調試終端會顯示連接成功。

（3）連接成功后，撥動實驗箱的電源開關，將實驗箱上電。

（4）系統啟動成功后，輸入賬戶密碼登錄即可（賬密均為：tronlong）

（5）登錄成功后，查詢實驗箱的網口地址。

拷貝文件

我們先打開Ubuntu，將Demo文件夾拷貝到RK3568目錄下。

"Ctrl+Alt+T"打開控制臺，執行命令將文件拷貝至實驗箱文件系統（根據實驗箱實際IP地址修改命令）。

運行程序

在串口調試窗口執行命令，啟動開發環境

在網頁輸入地址，即可打開登錄界面 （根據實際IP地址修改網頁地址）。

輸入密碼：tronlong，登錄。

在程序目錄，雙擊打開程序，點擊重新運行程序。

等待右上角的進度餅圖變白，程序運行完成。

在程序最下方，會顯示運行結果。

實時顯示攝像頭采集的圖像信息。可以把積木塊放到攝像 頭的前面，攝像頭會檢測到積木塊的顏色（積木塊對準綠色框即可識別），然后把積木塊放到對應顏色的區域內，機械臂會根據檢測到的顏色把對應區域內的積木塊夾取到中間的區域。或者先把積木塊放到對應顏色區域內，然后找黃色、紅色、綠色、藍色四種顏色的卡片放到攝像頭前，機械臂會根據檢測到的顏色抓取對應的積木塊放到中間的區域。

每次抓一個積木后，需要把中間區域的積木拿開，否則會擋住下一次放積木。