描述

垃圾戰爭

每年人類總共傾倒超過 20 億噸垃圾，到 2050 年有望超過 34 億噸/年。目前這直接影響到超過 6100 萬人，約占溫室氣體排放量的 5%。

幾乎一半的浪費是食物浪費，其中 40% 是由于質量標準過分強調外觀而在零售和消費者層面造成的浪費。盡管有如此大量的垃圾來自食物，但其中只有一小部分被堆肥（當食物垃圾被放入垃圾填埋場時，它會產生甲烷而不是二氧化碳，參見堆肥與垃圾填埋場）。此外，由于體力勞動成本增加或缺乏全行業采用，許多用于升級回收食物浪費的方法根本沒有實施。

單流回收的發展提高了回收率，因為消費者不必手動進行分類，并降低了回收廠的成本（只有一個收集系統）。然而，由于未經批準的材料或不干凈的可回收物（回收廠清潔可回收物的成本通常太高）被放置在單流垃圾箱中，污染增加，這也導致回收材料的質量下降。

在過去幾年中，隨著邊緣人工智能和物聯網的興起，已經開發了許多新產品來幫助解決浪費問題。其中一些包括 Alphabets X 的 Everyday Robot、Tomra 的 Container Deposit 以及對放入其中的物品進行分類的“智能垃圾箱”。雖然這些產品正在緩慢地幫助解決其中的一些問題，但采用起來可能很慢而且成本很高。

該項目將展示一些開發低成本開源廢物管理系統的方法和流程，為回收行業的民主化開辟了可能性。雖然這不是一個端到端的項目和演示（由于資源有限），但它將討論對廢物類型進行分類所需的組件以及處理它們的建議方法。

建議系統

該項目提出了一個機器人操作系統 (ROS) 節點系統，可以使用和組合這些節點來構建一個功能齊全的系統，以最大限度地減少和處理浪費。當前的特別重點是減少與食物相關的浪費。使用 NVIDIA Jetson Nano 是因為其外形小巧且功耗低，使這些工作負載能夠在邊緣處理并本地化到手臂。

下面是一個 ROS 節點系統，用于對產品進行分類以最大程度地減少浪費。多光譜相機用于收集單個產品或產品集合（例如，系統監控已上架的大量產品）的 NIR 圖像。該數據被送入成熟度指數節點，該節點量化給定項目的成熟度。決策引擎然后決定如何處理它，指示末端執行器或執行器（或可能是人類）進行相應處理。有關此系統的更多信息如下所示。

用于農產品分類的 ROS 節點集合

?

目前的廢物流需要大量人力和大型機器來分類廢物。這些方法僅適用于具有更多“價值”的廢物流（即單流可回收物）。一系列帶有定制末端執行器的機械臂（例如，特定的末端執行器取決于貴重物品的類型，例如金屬、紡織品等）可以處理額外的廢物流。

雖然這些手臂比大型設施中運行的快速運行的氣動系統慢得多，但在分散的廢物經濟中，這些手臂可以用來收集更具體的有價值的物品。它們也更靈活，能夠分揀更多種類且用途更廣泛（氣動系統很大，通常只能分揀一種材料）。

相機執行首次通過對象檢測和分類以確定對象的初始值。如果該物品是為該手臂指定的特定物品，則可以使用末端執行器內置的微型光譜儀對其進行進一步的材料分類。這可用于確定材料的成分，以便在其最終位置進行精細選擇和沉積。

用于廢物流分類的 ROS 節點集合

?

這樣的系統可以從普通廢物流中增加有價值的可回收物，對材料分類提供更精細的控制，從而產生更高價值的產品，并最大限度地減少人力勞動，從而實現更循環的經濟。

在 Jetson Nano 上開始使用 ROS

由于其模塊化設計和寬松許可，該項目的模塊將使用機器人操作系統創建。它還允許模塊更容易地集成到更大的系統中。使用 NVIDIA Jetson 是因為它是一個功能強大但體積小的 SBC，能夠在其內置的 128 個 CUDA 內核上運行計算和其他機器學習任務。

請參閱 Jetson Nano啟動說明以獲取加載 Jetson Nano 開發工具包 SD 卡映像。

在大多數情況下，我們將使用 PIP 方法從源指令中遵循 ROS 。我們還必須從源代碼構建所需的包。

初始更新和安裝 pip

sudo apt update 
sudo apt upgrade -y
sudo apt install python-pip -y

安裝依賴并初始化rosdep

sudo pip install --upgrade setuptools
sudo pip install -U rosdep rosinstall_generator wstool rosinstall
sudo rosdep init 
rosdep update

創建用于構建ros的catkin工作區

mkdir ~/ros_catkin_ws 
cd ~/ros_catkin_ws 
rosinstall_generator ros_comm --rosdistro melodic --deps --tar > melodic-ros_comm.rosinstall 
wstool init -j8 src melodic-ros_comm.rosinstall

解決依賴關系，構建工作區并獲取它

rosdep install --from-paths src --ignore-src --rosdistro melodic -y
./src/catkin/bin/catkin_make_isolated --install -DCMAKE_BUILD_TYPE=Release
source ~/ros_catkin_ws/install_isolated/setup.bash

傳感器：多光譜相機

多光譜相機每個通道的結果

?

多光譜相機能夠看到超越我們人類所能看到的東西。通過觀察特定波長的光，我們可以識別獨特的特征。這對于分選植物性食品特別有用，因為成熟度特征出現在近紅外 (NIR) 區域。

可以從這樣的系統中建立一個減少易腐爛食物垃圾的系統。從超市常用的先進先出 (FIFO) 做法過渡到根據產品成熟度推出產品的系統可以減少食物浪費。通過監控已經出爐的農產品，系統可以監控成熟度并有選擇地去除即將成熟的農產品（從而防止成熟連鎖反應）

通過遵循與 Microsoft HyperCam 類似的方法，我們可以創建便宜（低于一百美元）的 NIR 多光譜成像設備。使用Raspberry Pi NoIR相機是因為它沒有紅外濾光片（這使我們能夠看到高達 1000 納米左右的波長）。連接到簡單晶體管驅動電路的不同波長的 IR LED 網格允許我們使用Jetson GPIO庫控制我們想要檢查的波長。

上圖顯示了用多光譜相機拍攝的不同波長的成熟鱷梨。與 830nm 相比，890nm 在成熟和未成熟區域之間具有最高的對比度，830nm 僅非常輕微地顯示出這種差異。

?

?

?

?

1 / 4 ?多光譜相機原型

?

藍色濾光片阻擋藍色波長，但允許我們感興趣的 NIR 波長，因為傳感器的藍色通道對這些波長敏感。通過僅查看此通道，我們可以將藍色換成 NIR。

這可以在 opencv 中完成

#... load image
(r, g, b) = cv2.split(img)  # Split channels of image
nir = cv2.merge([b,b,b])    # merge only blue into NIR channel
cv2.imshow("NIR", nir)      # or only show the blue channel with grayscale selected

通過在不同的通道中組合這些圖像，我們可以比較每個波長的細節差異。例如，下圖顯示通道 e、c 和 f 合并為 RGB 圖像。

您可以在我的網站上找到構建所需 ROS 包的依賴項列表。從源代碼構建所需的所有依賴項都可以在我的網站上找到。為了獲得更高的光譜分辨率，我們需要使用光譜儀。我使用Sparkfun Triad Spectroscopy傳感器做了一些實驗。

該傳感器在 NIR 范圍內只有幾個通道，光譜分辨率相對較低，約為 40nm。

光譜響應（來源：AS7??265X 數據表）

?

為了創建能夠進行準確材料分類的高分辨率設備，我們需要使用能夠在寬波長范圍（高達 2000nm 左右）、超過 1000nm 并具有高光譜分辨率（大約 20nm 或更小）的傳感器). 例如，使用Hamamatsu MEMS-FPI光譜傳感器構建的傳感器能??夠實現 1350 至 1650 nm 的光譜范圍和 18 nm 的光譜分辨率（對于 C14272）。該設備足夠小，可以嵌入機械臂的末端執行器中，允許在運動過程中同時進行分類。然而，獲得這個模塊對于愛好者來說是具有挑戰性的。

我使用 AS7265X 傳感器創建了一個小型數據集。這可以作為包含類然后通道的 csv 文件使用。該數據可以傳遞到分類器中以推導材料成分

對象檢測：暗網和 ROS

為了執行對象檢測和初始分類，我們可以使用Darket 的 ROS 節點并訓練一組自定義權重來指定專用模型。帶有 YOLOv3 Tiny 的 Darknet ROS（roslaunch 文件在我的存儲庫的分支中）在 Jetson Nano 上以大約 10-15fps 的速度運行。

可以將邊界框和分類輸入到價值引擎中，以具體選擇目標項目類型。然后可以使用某種形式的機械臂收集這些信息以供進一步分析。

顯示 yolov3-tiny 配置的 ROS Launch 文件示例

<launch>

<arg name="network_param_file"         default="$(find darknet_ros)/config/yolov3-tiny.yaml"/>
<arg name="image" default="camera/rgb/image_raw" />

<include file="$(find darknet_ros)/launch/darknet_ros.launch">
<arg name="network_param_file"    value="$(arg network_param_file)"/>
<arg name="image" value="$(arg image)" />
include>
launch>

要使用 Darknet 構建專門的分類器，我們可以遵循pjreddie 的訓練 CIFAR10 。所使用的數據集應該圍繞所需的價值項目進行訓練，以獲得最佳效率。如JK Jung 的 TensortRT ONNX YOLOv3所示，在 TensorRT 上運行暗網可以產生更高的幀速率。

價值引擎和末端執行器

ROS節點中的價值引擎（單流排序）是為執行排序的實際硬件提供一個目標。它以兩階段方式運行，初始值（通常具有較低或較低的特定概率）隨后是用于高置信度材料成分分類的特定分類器（利用光譜儀），以便可以將其放入正確的容器中。

這導致更高質量的輸出被重復使用，這很重要，因為回收或廢物設施的輸出必須與原始材料競爭。這對于回收紡織品等敏感材料也很重要。

末端執行器必須專用于它們需要收集的材料。這就是價值引擎具有初始分類的原因，以便它可以傳遞到正確的子系統。

進一步探索

去中心化、民主化的廢物和回收過程的目標需要大量的工作。該項目只是探索了一些傳感器和使用設備對邊緣物質進行分類的方法。

還探索了其他用于材料分類的傳感器，例如雷達，它們可能是光譜儀的低成本替代/增強。