描述

描述

由于 2019 年新型冠狀病毒（COVID-19）引起的長期流行病爆發，2020 年正在超越現代人類生活中最糟糕的一年。這種新穎的社區健康問題導致了世界各地衛生系統的崩潰和經濟放緩，同樣影響了我們彼此相處的方式、我們的生活方式和工作方式。據大流行科學家稱，此類事件可能會一次又一次地發生，因此我們必須開發有助于解決或緩解這些問題的技術。

在大流行期間，機器人技術發揮了重要作用，因為許多人都知道，機器人具有的優勢之一是能夠在對人類有害的極端環境中工作，例如核災難、自然災害、深礦以及最終環境大量未知病原體，例如導致 covid-19 的 SARS-CoV-2 病毒。

幸運的是，我們正處于一個任何人都可以在家中構建機器人的時代，只需遵循一些簡短的指令。此外，還有大量的專家程序員社區，例如制造商，可以通過他們找到構建程序所需的幫助。然而，在這個大流行更潛伏的時期，許多技術發展都集中在建造大型而堅固的機器人上，以便在購物中心或大型公共實體建筑中使用，而此時大多數人都希望擁有一個這些機器人用于自己家的消毒。不僅能夠消除當前的 Covid-19 病毒，還能夠消除其他病毒、細菌和真菌的設備。在這些情況下，考慮到其在市場上的尺寸和價格，如圖 1 所示的大型機器人不是最合適的。

這就是為什么我的解決方案是基于家用消毒機器人，比如吸塵機器人或帶有紫外線 (UV) 燈的吸塵機器人。對于想要保持家中清潔和消毒的人們來說，這些機器人體積小且價格合理。

這些機器人在消毒過程方面具有一定的特殊性，例如相互通信的能力。這種通信允許在消毒中進行協調并優化執行此任務的時間。為此，我依靠稱為多智能體系統 (MAS) 的人工智能 (AI) 工具。MAS 允許創建能夠在環境中相互通信、感知和行動的實體。MAS 的基本單元是控制每個機器人的代理。通過這種方式，我們賦予機器人自主、智能和社交的特征。

特征

MAS 的特點之一是它的行為類似于其他人工智能、機器視覺和低級控制工具的容器。利用這種能力，每個代理（機器人）都結合了人工視覺工具、物體和人識別系統。為此，所有使用 Raspberry Pi 4 構建的機器人都集成了 OpenVino 工具和英特爾神經計算機棒 2。然而，這種神經棒允許使用深度學習模型來檢測人、物體、地點等. 這種視覺和分類工具被用作防止紫外線照射燒傷的一種措施，它通過檢測試劑附近是否有人存在，從而使試劑能夠關閉燈。同時，作為一種冗余保護措施，機器人有一個 PIR 傳感器，可以檢測人體發出的運動和紅外輻射。因此，通過這兩個保護系統中的每一個的輸出，代理將有足夠的信息來停用紫外線燈。

機器人建造

這些機器人是使用帶有全向輪子的平臺建造的，以方便在復雜環境中導航。他們還有一個用于映射和導航的 YDLIDAR X4、一個用于改進低級控制的 Arduino Mega 2560 和/或代理居住的 Raspberry Pi 4 或 Jetson Nano。圖 2 顯示了其中一種 3D 設計模型。

圖 3 顯示了廚房內機器人的 3D 表示。

圖 3，廚房機器人的 3D 模型

?

該機器人是易于修改和/或更新的模塊化機器人，可以改變燈的類型、高度等。在機器人的上部，紫外線燈是固定的，這將有助于消毒。由于家庭消毒的復雜性，燈可以45度角定向，360度旋轉。這使我們能夠對廁所底部或桌子底部等區域進行消毒（圖 4）。

圖 4，家中的紫外線機器人。

?

如上所述，機器人有兩個神經計算機棒 2，它們使機器人能夠引入機器學習算法，使機器人能夠識別物體和/或在未來確定哪些物體更容易被污染，因此花費更多時間在消毒過程中（圖5）。

圖 5，神經計算機棒 2

?

圖 6 顯示了帶有 Sense-Hat 的機器人，使用其磁力計、陀螺儀和加速度計，使機器人能夠更好地導航和定位自己。所有這些在做地圖和 SLAM 時都非常重要。

圖 6，機器人及其感應帽

?

為了實現這種導航，機器人必須有工具來檢測障礙物并將位置映射到其工作環境中的位置。為此目的，已加入激光雷達，使其能夠進行 SLAM 制圖。圖 7 顯示了一個真實激光雷達獲得 SLAM 批準的示例。

圖 7，使用 Ydlidar X4 的 SLAM

?

圖 8 顯示了機器人的下半部分，其中包含機器人中的每個元素，例如激光雷達、英特爾神經計算機棒 2 以及使機器人工作的其他硬件。

圖 8，機器人底部。

?

軟件

所有機器人都在兩個級別進行編程：基于 Arduino mega 2560 的最低級別使用 Arduino IDE 進行編程，而頂級控制（即機器視覺、代理之間的消息傳遞或導航）使用 Python 3.7 進行編程。此外，機器人可以使用 ROS 進行控制，但是，這些原型是通過使用我目前正在開發的機器人控制和模擬工具來控制的，其中模擬和控制的核心是 Pybullet。這不僅可以控制機器人，還可以使用物理約束（重力、摩擦）或碰撞檢測進行模擬。圖 9 顯示了廚房中的模擬，其中綠線代表機器人的虛擬激光雷達，藍色線代表激光雷達光束的碰撞。

圖 9，廚房模擬。

?

將模擬器集成到機器人控制系統中的優點之一是，它可以制定最大化消毒過程的策略并確定燈的功率，如下圖 10 和 11 所示（激光雷達已停用）。

圖 10，廚房消毒過程的模擬

?

圖 11，廚房消毒過程的模擬。

?

如前所述，機器人有能力通過使用 OpenVino 系統及其兩個神經棒 2 來識別物體。但是，它可以識別的物體數量將取決于不同的需求，即哪些物體最有可能具有高概率細菌、病毒或真菌污染。然后，消毒器可以通過評估哪些物體最容易受到影響來確定這些物體的紫外線照射時間是否增加。

這些可以是一些例子來說明這個項目：

圖 12，機器人要分類的對象

?

必須為機器人創建數據集以識別這些對象。為了構建這個數據集，我們自動使用以下 Python 庫：Bing Image Downloader。要安裝這個庫，我們從命令終端輸入：pip install bing-image-downloader

一旦安裝了庫，我們要做的是從我們的數據集中下載圖像，在我們的例子中是：

0 Bottle
1 Cup
2 Person
3 Sink_Bathroom
4 Toilet

要進行此下載，我們使用以下腳本：

from bing_image_downloader.bing_image_downloader.downloader import download

query_string = ["Person", "Unknow","Cup", "Toilet", "Sink_Bathroom", "Bottle"]

for i in query_string:
    download(i, limit=200, output_dir='dataset', adult_filter_off=True, force_replace=False)

這將創建一個名為 dataset 的文件夾，在該文件夾中，我們將找到一些帶有要分類的類名稱的子文件夾（圖 13）。

Figura 13, Subcarpetas creadas

?

到目前為止，我們已經準備好訓練數據集。這個過程可以通過 Keras 和 Tensorflow 使用 MobileNet 網絡完成，或者我們可以使用工具可教機器在線執行此類訓練（圖 14）。

圖 14、teachablemachine

?

我們簡單地添加類的數量并上傳每個類對應的圖像并進行訓練。

訓練過程的結果如下圖所示：

圖 15，歷元損失

?

圖 16，不同時期的精度

?

另一方面，圖16是應用教學機得到的混淆矩陣，圖13是我的移動網絡訓練得到的混淆矩陣。

圖 17、teachablemachine 混淆矩陣

?

圖 18、mobilenet 混淆矩陣

?

我們可以觀察到兩個混淆矩陣之間存在一定的關系，但是，我的混淆矩陣在 0-1 之間進行了歸一化。基于這些結果，我們可以得出結論，機器人將能夠識別用戶希望機器人投入更多時間進行消毒的物體。

訓練完模型后，下一步就是將其轉換為 Openvino 使用的格式。這個過程需要一些重要的步驟，第一個是安裝Openvino，我們參考Intel給出的說明。安裝步驟因我們的操作系統而異（在我的情況下，我的操作系統是 Windows 10）。

安裝 Openvino 后，下一步就是創建通風環境：

We create the environment: python3 -m venv openvino

We activate the environment: .\openvino\Scripts\activate

安裝后，下一步是查找 Openvino 已安裝的文件：

C:\Program Files (x86)\IntelSWTools\openvino\deployment_tools\model_optimizer\install_prerequisites

在環境中，它不允許我們以--user身份安裝必要的要求，因此我們修改文件。第一個是install_prerequisites我們查找單詞--user并將其刪除。一旦我們編輯了這個文件，我們就可以安裝先決條件。

安裝完所有內容并且我們的模型為.h5格式后，接下來就是將此模型轉換為.pb模型。為此，我們使用以下代碼：

import tensorflow as tf
 from tensorflow.python.keras.models import load_model
 # Tensorflow 2.x
 from tensorflow.python.framework.convert_to_constants import convert_variables_to_constants_v2
 
model = load_model("../KerasCode/Models/keras_model.h5")
 
 # Convert Keras model to ConcreteFunction
 full_model = tf.function(lambda x: model(x))
full_model = full_model.get_concrete_function(
  tf.TensorSpec(model.inputs[0].shape, model.inputs[0].dtype))
 
 # Get frozen ConcreteFunction
 frozen_func = convert_variables_to_constants_v2(full_model)
frozen_func.graph.as_graph_def()
 
 # Print out model inputs and outputs
 print("Frozen model inputs: ", frozen_func.inputs)
 print("Frozen model outputs: ", frozen_func.outputs)
 
 # Save frozen graph to disk
 tf.io.write_graph(graph_or_graph_def=frozen_func.graph,
  logdir="./frozen_models",
  name="keras_model.pb",
   as_text=False)

這將返回一個文件“XXXX.pb”，好吧，接下來就是在安裝Openvino的文件夾中查找這個腳本mo_tf.py。一旦進入這個文件夾，重要的是創建一個名為模型的文件夾（如果需要），并從命令終端（cmd），我們這樣寫：

python mo_tf.py --input_model model\keras_model.pb --input_shape [1,224,224,3] --output_dir model\

如果一切順利，我們將必須在此過程結束時擁有這些文件：

• keras_model.bin
• keras_model.mapping
• keras_model (XML)
• 標簽.txt

?

?

?

?

1 / 9

?

?