描述

在這個項目中，我們將構建一個自動描述它觀察到的內容的相機。將部署在 Jetson Nano 等邊緣設備上運行的 AI 網絡，以便它持續提供所獲取幀的文本描述。為了保持實現簡單，雖然可以將注意力等高級功能添加到網絡中，但由于主腳本是相當模塊化的，所以沒有實現它們。

?

?

?

?

1 / 2

?

將實施混合深度神經網絡，使用簡單的 USB 攝像頭和 Jetson Nano 實時提供每一幀的字幕。

項目設計階段

該項目將分四期建設。在第一階段，我們將在配備獨立顯卡的主機上設置和訓練網絡。第二階段包括設置 Jetson Nano 和實現從相機到 HDMI 監視器的簡單圖像管道。第三階段包括將圖像字幕深度神經網絡與第二階段的圖像流水線相結合。最后，在最后一個階段，我們將在真實世界的設置下測試網絡。

帶有 USB 攝像頭的 Jetson Nano 設置

?

硬件需要為 Jetson Nano 提供 2A 電源，因為從 USB 為其供電不足以在高性能模式下運行神經模型。為此，請確保將跳線安裝在 Jetson Nano 的右側。然后插入 USB 攝像頭、帶有最新圖像的 SD 卡和以太網電纜。設置好硬件后，下一步就是設置先決條件框架。

主機設置

首先，我們將在主機筆記本電腦上定義和訓練網絡。該項目將使用 Tensorflow 2.01、Keras 2.1 和 OpenCV 4.1。先決條件是安裝 Cuda10.0 和 Visual Studio Express 17.0 以利用 GPU 速度增益，以防筆記本電腦配備支持 NVIDIA 的 GPU。

我們將用于訓練的數據集是 Flickr8K 圖像數據集。這是一個相對較小的數據集，允許在筆記本電腦級 GPU 上訓練完整的 AI 流水線。人們還可以使用更大的數據集，這將以更高的訓練時間為代價獲得更好的性能。數據集可以通過申請表從伊利諾伊大學下載。

下一個數據集是 Glove 數據集，它是一組從大型文本語料庫構建的詞嵌入。該數據集本質上充當了 AI 從中獲取詞匯的字典。標題文本清理完成后，下一步是加載 Glove 嵌入。嵌入是神經網絡使用的單詞編碼。基本上單詞被投影為高維空間中的向量，然后表示為向量。從這里下載數據集：

https://nlp.stanford.edu/projects/glove/

然后創建一個名為 /Captioning 的頂級目錄，并在其中提取兩個壓縮文件。

?

?

?

?

1 / 2

?

另外創建一個名為 /data 的文件夾，用于保存訓練階段生成的文件。接下來我們將定義網絡并訓練網絡。

神經網絡訓練

從高層次的角度來看，圖像字幕深度學習網絡由菊花鏈式連接在一起的深度 CNN (InceptionV3) 和 LSTM 循環神經網絡組成。CNN 的輸出是一個表示圖像類別的 x 維向量。輸出被發送到 LSTM，后者生成圖像中對象的文本描述。LSTM 基本上接收 x 維向量流。在此基礎上，它實時串接了對場景的描述。

可以在 Github 上找到訓練網絡的 Ipython 筆記本。主網絡的設計基于 Jeff Heaton 的工作。它由一個 InceptionV3 CNN 和一個 LSTM 遞歸神經網絡組成。

下一步是從 Flickr 字幕構建數據集，并通過標記化和預處理文本來清理所有描述。然后我們將 Flickr8K 數據集拆分為測試和訓練圖像數據集。然后我們加載訓練數據集描述并訓練網絡。

如前所述，Inception 網絡用作網絡的第一階段。最后一個全連接層被移除，因此從第一階段 CNN 出來的數據是一個一維向量。Inception 只能接受分辨率為 299x299 像素的圖像，因此必須對相機圖像進行格式化。

inputs1 = Input(shape=(OUTPUT_DIM,))
fe1 = Dropout(0.5)(inputs1)
fe2 = Dense(256, activation='relu')(fe1)
inputs2 = Input(shape=(max_length,))
se1 = Embedding(vocab_size, embedding_dim, mask_zero=True)(inputs2)
se2 = Dropout(0.5)(se1)
se3 = LSTM(256)(se2)
decoder1 = add([fe2, se3])
decoder2 = Dense(256, activation='relu')(decoder1)
outputs = Dense(vocab_size, activation='softmax')(decoder2)
caption_model = Model(inputs=[inputs1, inputs2], outputs=outputs)

上面的代碼片段顯示了編輯后的 ??InceptionV3 CNN 與 LSTM 連接。這實現了編碼器-解碼器架構。

完成后，我們必須循環遍歷訓練和測試圖像文件夾，并對每張圖像進行預處理。

網絡的最后一部分是循環長短期記憶神經網絡。(LSTM) 簡稱。該網絡獲取序列并嘗試預測序列中的下一個單詞。這些類型的網絡的工作由斯坦福大學的 A. Karpathy 完成，他指出它們對于此類任務來說是多么充分。

?

?

?

?

1 / 2

?

最后一步是訓練網絡。對于這個項目，最初使用了 6 個 epoch，損失最初為 2.6%。然而，為了獲得可接受的結果，損失必須遠小于 1，因此必須訓練至少 10-15 個時期。

訓練網絡后，我們加載訓練好的權重并在數據集的測試圖像以及不屬于原始數據集的圖像上測試網絡。

網絡在這里將孩子描述為“站在草地上的人”

?

如果圖像在風格和內容上與 Flickr9K 數據集中的圖像非常相似，則描述相對準確。這也可以使用 OpenCV API 來完成。首先我們需要安裝正確的版本。

安裝OpenCV

OpenCv4.1 是從源代碼編譯的。這可能需要一段時間。要安裝 4.1 版，我使用了以下腳本：

curl -L https://github.com/opencv/opencv/archive/4.1.1.zip -o opencv-4.1.1.zip
curl -L https://github.com/opencv/opencv_contrib/archive/4.1.1.zip -o opencv_contrib-4.1.1.zip
unzip opencv-4.1.1.zip
unzip opencv_contrib-4.1.1.zip
cd opencv-4.1.1/
echo "** Building..."
mkdir release
cd release/
cmake -D WITH_CUDA=ON -D ENABLE_PRECOMPILED_HEADERS=OFF  -D CUDA_ARCH_BIN="5.3" -D CUDA_ARCH_PTX="" -D WITH_GTK=OFF -D WITH_QT=ON -D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib-4.1.1/modules -D WITH_GSTREAMER=ON -D WITH_LIBV4L=ON -D BUILD_opencv_python2=ON -D BUILD_opencv_python3=ON -D BUILD_TESTS=OFF -D BUILD_PERF_TESTS=OFF -D BUILD_EXAMPLES=OFF -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local ..
make -j3
sudo make install

請注意，GTK 已關閉，以避免在使用默認設置編譯時發現的庫出現問題。

?

安裝 OpenCV 后，使用下面附帶的文件 test_openCV.py 測試程序。USB 攝像頭在 /dev 下顯示為 /video0。

捕獲幀后，可以使用以下函數將文本覆蓋在每個幀的頂部：

def __draw_label(img, text, pos, bg_color):
  font_face = cv2.FONT_HERSHEY_TRIPLEX
  scale = 1
  color = (255, 255, 255)
  thickness = cv2.FILLED
  margin = 5
  txt_size = cv2.getTextSize(text, font_face, scale, thickness)
  end_x = pos[0] + txt_size[0][0] + margin
  end_y = pos[1] - txt_size[0][1] - margin
  cv2.rectangle(img, pos, (end_x, end_y), bg_color, thickness)
  cv2.putText(img, text, pos, font_face, scale, color, 2, cv2.LINE_AA)

下圖顯示了從相機捕獲的幀，日期覆蓋在幀的頂部。

所有通過 OpenCv API 從相機拍攝的圖像都是 numpy 數組。因此，數組必須轉換為圖像，調整大小以匹配 InceptionV3 CNN 要求，然后再轉換回圖像并進一步預處理。使用具有多個可編程分辨率的相機可以避免這種情況。

與最新的 RTX 類 GPU 相比，Jetson Nano 沒有特別強大的 GPU，因此，訓練網絡絕對應該在主機筆記本電腦上完成。

計算能力 5.3

?

。

。

?

網絡需要 2-3 分鐘來加載，因為它讀取并解析所有編碼。然后它讀取圖像幀并將其通過網絡傳遞。推理發生得非常快。

網絡最初會根據內存不足發出一些警告。請記住，它沒有使用 TensorRT 進行優化，因此可以通過這樣做并用更好的 CNN（例如 Xception）替換 InceptionV3 來進一步提高速度。

系統應用

實施此類系統的主要途徑是沿海監控、公園安全監控以及任何此類場景，其中自動監控可用于對挽救生命和確保環境安全產生積極影響的應用。

進一步改進

下一步是將 Tensorflow 模式轉換為 NVIDIA 的 TensorRT，以獲得額外的加速。

由于這是一個模塊化系統，網絡的輸出可以傳遞給通知系統，每當圖像描述中出現感興趣的詞時，通知系統就會發送一封電子郵件。

進一步的發展是將其與對話式人工智能系統相結合，以構建一個“詢問和描述”系統。

結論

可以看出，網絡僅在圖像內容與訓練圖像相似的情況下表現良好。

為了改進描述，需要使用更大的文本語料庫以及更大的注釋數據集。雖然 Flickr30K 的大小幾乎是當前數據集的 4 倍，但如果使用 MSCoCO 數據集，可以獲得更好的結果。問題是您需要強大的 GPU 或使用云。