描述

1.團隊成員

林振陽（zl89）

益海龍（yl215）

劉正桐 (zl92)

博城灣 (bw31)

2.介紹

我們的團隊 MissingPort 由林振陽、劉正彤、龍一海、萬博成四人組成。我們的項目是構(gòu)建一個能夠識別一小段語音輸入的語音識別設備。我們使用 TensorFlow 訓練語音識別模型，然后將簡化模型加載到我們的設備 Arduino Nano 33 BLE 中。因此，我們的設備可以接受語音輸入并通過閃爍不同的燈來顯示預測的識別結(jié)果。在我們的項目中，我們使用了Pete Warden 和 Daniel Situnayake在 Arduino 和超低功耗微控制器上使用 TensorFlow Lite 的機器學習作為我們的項目指南。我們的這個項目的過程顯示在 Schematics 塊中。

3.模型訓練

首先，我們需要為我們的設備提供語音模型。因此，我們將使用機器學習從我們的語音樣本中生成模型。根據(jù) Warden 書中的說明，我們項目中使用的主要工具是 Python、TensorFlow 和 Google 的 Collaboratory。我們可以將我們的訓練分為七個不同的階段。在第一階段，我們需要獲得一個簡單的數(shù)據(jù)集。在第二階段，我們訓練了深度學習模型。然后在第三階段，我們評估了模型的性能。在第四階段，我們轉(zhuǎn)換了模型，使其可以在我們的設備上運行。接下來，在第五階段，我們創(chuàng)建了代碼來執(zhí)行設備上的推理。在第六階段，我們將代碼構(gòu)建成二進制。在最后階段，我們將二進制文件部署到我們的微處理器中。

在模型訓練中，我們嘗試了很多單詞對的組合，比如 cat-dog、stop-go、on-off 和原始的 yes-no。每對的訓練過程最多需要兩個小時。

圖 2：培訓信息

?

圖 3：測試結(jié)果

?

從測試結(jié)果可以看出，準確率接近90%，每對單詞的準確率接近90%。如果準確率不在 90% 左右，我們將增加訓練步驟以提高準確率。

4.模型部署

我們使用的設備是 Arduino Nano 33 BLE Sense。當我們部署模型時，需要修改原始文件夾中的三個文件，“Micro_features_model.cpp”、“arduino_command_responder.cpp”和“micro_features_micro_model_settings.cpp”。修改后，我們上傳了程序，做了幾次測試。

圖 4：部署完成

?

5.遇到的問題

圖 5：不期望的預測結(jié)果

?

在嘗試將我們的模型部署到設備時，我們遇到了一個非常奇怪的問題。除了“是，否”對之外的訓練模型表現(xiàn)不佳。例如，左右對模型無法很好地區(qū)分背景噪音和語音。雖然增加了訓練步數(shù)，但問題依然存在。對于其他模型，模型很容易預測第一個詞，但很難預測第二個詞。但是，對于“是-否”配對模型，一切都按預期進行。我們調(diào)查了原始語音數(shù)據(jù)源，發(fā)現(xiàn)有幾個數(shù)據(jù)點被錯誤地標記。例如，在貓和狗數(shù)據(jù)文件夾中，幾個“是”或“否”數(shù)據(jù)點被標記為“貓”或“狗”。我們確實相信這些錯誤標記的數(shù)據(jù)點會導致我們訓練的模型不準確。我們?yōu)槲覀冇柧毜钠渌麕讓Ω郊恿宋覀兊哪Ｐ汀?/font>為了解決這個問題，必須徹底檢查原始數(shù)據(jù)集，以確保所有數(shù)據(jù)點都有正確的標簽。