我不知道為什么會(huì)有這樣的想法，我自己既不失聰，也不失語(yǔ)，而且周圍也沒(méi)有這樣的人，我甚至連語(yǔ)音助手也沒(méi)有。究其原因，或許是因?yàn)橛泻芏辔恼露荚诮榻B層出不窮的語(yǔ)音助手，也可能是因?yàn)楦鞔蠊径荚跔?zhēng)相成為您青睞的智能家居語(yǔ)音助手，又或許只是因?yàn)槲以絹?lái)越多地在朋友家中的桌臺(tái)上看到這些設(shè)備。這個(gè)問(wèn)題在我的腦海中一直縈繞不去，我知道這件事勢(shì)在必行。

于是，最后有了這個(gè)項(xiàng)目。這是一個(gè)概念驗(yàn)證項(xiàng)目，我買了一個(gè)Amazon Echo，讓它對(duì)手語(yǔ)作出反應(yīng)，更準(zhǔn)確地說(shuō)是美國(guó)手語(yǔ) (ASL)，因?yàn)楹涂谡Z(yǔ)一樣，手語(yǔ)的種類也有很多。

原本我可以只發(fā)布代碼，不過(guò)，我覺(jué)得很多機(jī)器學(xué)習(xí)項(xiàng)目都缺少視覺(jué)元素，讓人們很難將它們聯(lián)系起來(lái)理解，所以后來(lái)還是決定發(fā)布一段關(guān)于系統(tǒng)演示的視頻。同時(shí)，我也希望這個(gè)方法能夠?qū)⑷藗冴P(guān)注的焦點(diǎn)從項(xiàng)目的科技元素轉(zhuǎn)向人類元素，即這里介紹的并非底層技術(shù)，而是此類技術(shù)賦予我們?nèi)祟惖哪芰Α?/p>

既然視頻已經(jīng)公開，下面就通過(guò)這篇博文介紹一下底層技術(shù)，以及如何使用TensorFlow.js構(gòu)建這一系統(tǒng)。您也可以播放實(shí)時(shí)演示。我將其整合在了一起，以便您可以使用自己的詞集和符號(hào)/手勢(shì)組合來(lái)訓(xùn)練。是否要在身邊準(zhǔn)備一個(gè)可以響應(yīng)您要求的 Echo，完全由您自選。

早期研究

在早期，我就非常明確我想要為此實(shí)驗(yàn)整合哪些更廣泛的系統(tǒng)組成部分。我需要的組件如下：

一個(gè)神經(jīng)網(wǎng)絡(luò)，用以解釋手勢(shì)（即將手勢(shì)視頻轉(zhuǎn)換為文本）。

一個(gè)文字轉(zhuǎn)語(yǔ)音系統(tǒng)，用于將解釋過(guò)的手勢(shì)講給 Alexa

一個(gè)語(yǔ)音轉(zhuǎn)文字系統(tǒng)，用于將 Alexa 的回應(yīng)轉(zhuǎn)錄給用戶使用

一臺(tái)運(yùn)行該系統(tǒng)的設(shè)備（筆記本電腦/平板電腦）和用于互動(dòng)的 Echo

可以將這些組件整合在一起的界面

早期，我的大部分時(shí)間可能都用在了確定哪個(gè)神經(jīng)網(wǎng)絡(luò)架構(gòu)最適合此實(shí)驗(yàn)上面。我想到下面幾個(gè)選擇：

1) 由于手勢(shì)兼具可視性和時(shí)效性，因此我的直覺(jué)是將 CNN 與 RNN 結(jié)合在一起，其中最后一個(gè)卷積層的輸出（分類前）作為序列饋送到 RNN 中。后來(lái)，我為此找到一個(gè)技術(shù)術(shù)語(yǔ)，即長(zhǎng)期遞歸卷積網(wǎng)絡(luò) (LRCN)。

2) 使用 3D 卷積網(wǎng)絡(luò)，以三維方式應(yīng)用卷積，其中前兩個(gè)維度是圖像，第三個(gè)維度是時(shí)間。但是，這些網(wǎng)絡(luò)需要大量存儲(chǔ)設(shè)備，而我希望可以在我用了 7 年的老 Macbook Pro 上進(jìn)行訓(xùn)練。

3) 訓(xùn)練 CNN 時(shí)，我沒(méi)有使用視頻流中的單個(gè)幀，而是只用了可以表示兩個(gè)連續(xù)幀之間視運(yùn)動(dòng)模式的光流表征。我的想法是它會(huì)對(duì)這種動(dòng)作進(jìn)行編碼，產(chǎn)生更通用的手語(yǔ)模型。

4) 使用雙流 CNN，其中空間流為單個(gè)幀 (RGB)，時(shí)間流會(huì)使用光流表征。

在做進(jìn)一步研究時(shí)，我發(fā)現(xiàn)了一些論文，其中至少使用了上述部分視頻行為識(shí)別方法（在UFC101 數(shù)據(jù)集上最常見(jiàn)）。但我很快發(fā)現(xiàn)，不僅我的計(jì)算能力有限，我從頭開始解密和實(shí)施這些論文的能力也很有限，之后幾個(gè)月，我的研究時(shí)斷時(shí)續(xù)，經(jīng)常因?yàn)槠渌?xiàng)目纏身而不得不丟下該項(xiàng)目，我的輸出結(jié)果一直乏善可陳。

最終，我采用了迥異的方法。

輸入 TensorFlow.js：

TensorFlow.js團(tuán)隊(duì)一直在推出基于瀏覽器的有趣小實(shí)驗(yàn)，幫助人們熟悉機(jī)器學(xué)習(xí)的概念，同時(shí)也鼓勵(lì)人們用它來(lái)構(gòu)建自己的項(xiàng)目。對(duì)于那些不熟悉機(jī)器學(xué)習(xí)的人，TensorFlow.js 是一個(gè)開放源代碼庫(kù)，讓您可以直接在使用 Javascript 的瀏覽器中定義、訓(xùn)練和運(yùn)行機(jī)器學(xué)習(xí)模型。特別值得一提的是，Pacman 網(wǎng)絡(luò)攝像頭控制器和Teachable Machine這兩個(gè)演示似乎是很有趣的起點(diǎn)。

雖然這兩個(gè)演示都是從網(wǎng)絡(luò)攝像頭選取輸入圖像，并輸出基于訓(xùn)練數(shù)據(jù)的預(yù)測(cè)，但其內(nèi)部運(yùn)作卻各不相同：

1) Pacman 網(wǎng)絡(luò)攝像頭 — 使用卷積神經(jīng)網(wǎng)絡(luò)選取輸入圖像（來(lái)自網(wǎng)絡(luò)攝像頭）并通過(guò)一系列卷積和最大池化層來(lái)傳遞圖像。通過(guò)這種方式，它能提取圖像的主要特征，并根據(jù)其訓(xùn)練時(shí)用過(guò)的示例預(yù)測(cè)其標(biāo)簽。由于訓(xùn)練過(guò)程費(fèi)時(shí)費(fèi)力，它使用了名為 MobileNet 的預(yù)訓(xùn)練模型進(jìn)行遷移學(xué)習(xí)。該模型經(jīng)受過(guò)基于 ImageNet 數(shù)據(jù)集的訓(xùn)練，可以區(qū)分 1000 種圖像，而且經(jīng)過(guò)優(yōu)化，可以在瀏覽器和移動(dòng)應(yīng)用中運(yùn)行。

2) Teachable Machine — 使用 kNN（最鄰近規(guī)則分類），該分類非常簡(jiǎn)單，以至于從技術(shù)上說(shuō)其完全不執(zhí)行任何“學(xué)習(xí)”。它會(huì)接收輸入圖像（來(lái)自網(wǎng)絡(luò)攝像頭），并使用相似度函數(shù)或距離度量來(lái)尋找最接近該輸入圖像的訓(xùn)練示例的標(biāo)簽，從而對(duì)圖像進(jìn)行分類。然而，在饋送 kNN 之前，首先要通過(guò)名為 SqueezeNet 的小型神經(jīng)網(wǎng)絡(luò)傳送該圖像。然后，將該網(wǎng)絡(luò)倒數(shù)第二個(gè)層的輸出饋送到 kNN 中，該 kNN 允許您訓(xùn)練自己的分類。相較將來(lái)自網(wǎng)絡(luò)攝像頭的原始像素值直接饋送到 kNN 中，這樣做的好處在于我們可以使用 SqueezeNet 已經(jīng)學(xué)過(guò)的高層抽象，由此訓(xùn)練更好的分類器。

現(xiàn)在您可能想知道，手勢(shì)的時(shí)效性怎么辦？這兩個(gè)系統(tǒng)都是每幀選取一個(gè)輸入圖像，并且在預(yù)測(cè)時(shí)完全不考慮面前的這些幀。這不是考查 RNN 時(shí)關(guān)注的整個(gè)要點(diǎn)嗎？這對(duì)真正理解手勢(shì)并非必要？利用在線資源學(xué)習(xí)本項(xiàng)目的 ASL 時(shí)，我發(fā)現(xiàn)，當(dāng)做出手勢(shì)時(shí)，不同手勢(shì)之間手的始末姿勢(shì)以及位置差別很大。與人交流時(shí)，其間發(fā)生的一切或許都很必要，但對(duì)機(jī)器而言，只使用始末姿勢(shì)就足夠了。因此，我決定棄常規(guī)作法而不用，無(wú)視過(guò)程，直奔目的。

事實(shí)證明，使用 TensorFlow.js 非常有用，其間原因包括：

我可以利用這些演示進(jìn)行原型設(shè)計(jì)，而無(wú)需編寫任何代碼。最初開始原型設(shè)計(jì)時(shí)，我只是在瀏覽器中運(yùn)行這些原始示例，用我計(jì)劃使用的手勢(shì)進(jìn)行訓(xùn)練，然后觀察系統(tǒng)的運(yùn)行方式，即便其輸出結(jié)果意味著是 Pacman 在屏幕上移動(dòng)。

我可以使用 TensorFlow.js 在瀏覽器中直接運(yùn)行模型。從可移植性、開發(fā)速度和與網(wǎng)頁(yè)界面輕松交互的能力來(lái)看，這是巨大的。這些模型也可以完全在瀏覽器中運(yùn)行，而無(wú)需向服務(wù)器發(fā)送數(shù)據(jù)。

因?yàn)槟Ｐ驮跒g覽器中運(yùn)行，我可以將其與現(xiàn)代瀏覽器支持且我需要使用的語(yǔ)音轉(zhuǎn)文字和文字轉(zhuǎn)語(yǔ)音 API 連接起來(lái)。

它可以加速測(cè)試、訓(xùn)練和微調(diào)操作，而這往往是機(jī)器學(xué)習(xí)中的一大難題。

由于我沒(méi)有手語(yǔ)數(shù)據(jù)集，并且訓(xùn)練示例基本是我在重復(fù)做出手語(yǔ)動(dòng)作，因此使用網(wǎng)絡(luò)攝像頭來(lái)收集訓(xùn)練數(shù)據(jù)非常方便。

在全面測(cè)試這兩種方法后，我發(fā)現(xiàn)這兩個(gè)系統(tǒng)在測(cè)試中表現(xiàn)相當(dāng)，于是決定使用 Teachable Machine 作為訓(xùn)練基礎(chǔ)，這是因?yàn)椋?/p>

如果使用較小的數(shù)據(jù)集，kNN 實(shí)際要比 CNN 運(yùn)行地更快/更好。在用很多示例訓(xùn)練時(shí)，它們需要存儲(chǔ)大量數(shù)據(jù)，性能也會(huì)下降，但我知道我的數(shù)據(jù)集不大，所以這不是問(wèn)題。

由于 kNN 實(shí)際并非從示例中學(xué)習(xí)，所以它們不擅長(zhǎng)泛化。因此，使用完全由一個(gè)人構(gòu)成的示例訓(xùn)練模型，其預(yù)測(cè)結(jié)果并不能很好地遷移至另一個(gè)人。但對(duì)我而言，這也不是問(wèn)題，因?yàn)槲視?huì)通過(guò)自己反復(fù)做出手勢(shì)來(lái)訓(xùn)練并測(cè)試模型。

該團(tuán)隊(duì)曾經(jīng)開放過(guò)一個(gè)很好的項(xiàng)目剝離樣板文件的源代碼，可以作為一個(gè)非常有用的起點(diǎn)。

工作原理

下面我們從較高層面了解一下系統(tǒng)由始至終的運(yùn)作方式：

在瀏覽器中打開網(wǎng)站后，第一步是提供訓(xùn)練示例。也就是，使用網(wǎng)絡(luò)攝像頭反復(fù)捕捉您自己做出每個(gè)手勢(shì)時(shí)的動(dòng)作。這樣操作相對(duì)較快，因?yàn)橹灰聪绿囟ǖ呐恼瞻粹o就可以持續(xù)捕獲幀，直到您松開按鈕并使用合適的標(biāo)簽標(biāo)記捕獲的圖像。我訓(xùn)練的這個(gè)系統(tǒng)包含 14 個(gè)詞匯，我可以將這些詞匯進(jìn)行多種組合，用來(lái)向 Alexa 發(fā)出不同請(qǐng)求。

訓(xùn)練完成后，輸入預(yù)測(cè)模式?，F(xiàn)在，系統(tǒng)會(huì)使用來(lái)自網(wǎng)絡(luò)攝像頭的輸入圖像并通過(guò)分類器運(yùn)行，根據(jù)上一步中提供的訓(xùn)練示例和標(biāo)簽找到與其最鄰近的類別。

如果超過(guò)了某個(gè)預(yù)測(cè)閾值，它會(huì)在屏幕的左側(cè)附上標(biāo)簽。

然后我使用語(yǔ)音合成的 Web Speech API 來(lái)讀出檢測(cè)到的標(biāo)簽。

如果說(shuō)出的單詞是“Alexa”，則會(huì)喚醒附近的 Echo，并且 Echo 會(huì)開始聆聽查詢。另外值得注意的是，我創(chuàng)建了一個(gè)任意手勢(shì)（在空中舉起右拳）來(lái)表示單詞 Alexa，因?yàn)?ASL 中不存在與這個(gè)詞對(duì)應(yīng)的手勢(shì)，并且反復(fù)拼寫 A-L-E-X-A 也會(huì)讓人厭煩。

在完成整個(gè)手勢(shì)短語(yǔ)后，我再次使用 Web Speech API 來(lái)轉(zhuǎn)錄Echo 的反應(yīng)，Echo 在回應(yīng)這個(gè)查詢時(shí)完全不知道該查詢來(lái)自另一臺(tái)機(jī)器。轉(zhuǎn)錄的反應(yīng)顯示在屏幕的右側(cè)，以供用戶閱讀。

再次用手勢(shì)表示喚醒詞，清除屏幕并重啟反復(fù)查詢的流程。我已將全部代碼上傳至 Github，包括實(shí)時(shí)演示。您可以按照您的想法隨意使用并修改代碼。

雖然系統(tǒng)運(yùn)行較好，但的確需要一些簡(jiǎn)單改動(dòng)來(lái)幫助獲取所需結(jié)果并提高準(zhǔn)確度，例如：

確保在說(shuō)出喚醒詞 Alexa 之前不會(huì)檢測(cè)到任何手勢(shì)。

在訓(xùn)練示例中添加一個(gè)完整的泛類，我將其歸為適用于空閑狀態(tài)的“其他”類（空白背景、我站在一旁不做任何動(dòng)作，手放在身體兩邊等）。這可以防止錯(cuò)誤檢測(cè)詞匯。

在接收輸出前設(shè)定高閾值，以減少預(yù)測(cè)錯(cuò)誤。

降低預(yù)測(cè)率。不要按最大幀率進(jìn)行預(yù)測(cè)，控制每秒的預(yù)測(cè)數(shù)量有助于減少預(yù)測(cè)錯(cuò)誤。

確保預(yù)測(cè)時(shí)不會(huì)重復(fù)考慮短語(yǔ)中已經(jīng)檢測(cè)過(guò)的詞匯。

在手語(yǔ)中，冠詞通常不用手勢(shì)表達(dá)，而是依靠上下文來(lái)表達(dá)意思，因此，我在訓(xùn)練模型時(shí)用了某些包含相應(yīng)冠詞或介詞的詞匯，例如這天氣、這清單等。

另一個(gè)難題是，準(zhǔn)確預(yù)測(cè)用戶已在何時(shí)完成手勢(shì)查詢。這對(duì)于準(zhǔn)確轉(zhuǎn)錄非常必要。如果太早觸發(fā)轉(zhuǎn)錄（在用戶完成手勢(shì)之前），則系統(tǒng)會(huì)開始轉(zhuǎn)錄其自己的語(yǔ)音。但如果觸發(fā)太晚，又可能會(huì)錯(cuò)過(guò)轉(zhuǎn)錄 Alexa 的部分反應(yīng)。為了解決這一難題，我采用了兩項(xiàng)獨(dú)立的方法，兩者各有利弊：

第一個(gè)選擇是在添加詞匯用于訓(xùn)練時(shí)，將這些詞匯標(biāo)記為終點(diǎn)詞匯。我說(shuō)的終點(diǎn)詞匯是指用戶只會(huì)在短語(yǔ)結(jié)束時(shí)使用的手勢(shì)。例如，如果查詢語(yǔ)句是 “Alexa, what’sthe weather?”，則將 “the weather” 作為終點(diǎn)詞匯，當(dāng)檢測(cè)到該詞匯時(shí)，便可以正確觸發(fā)轉(zhuǎn)錄。這個(gè)方法雖然很好用，但這意味著用戶在訓(xùn)練期間必須要記得去標(biāo)記終點(diǎn)詞匯，并且需要依賴該詞僅會(huì)出現(xiàn)在查詢結(jié)尾的假設(shè)。這樣，如果將查詢語(yǔ)句調(diào)整為 “Alexa, what’sthe weatherin New York?”，則會(huì)面臨問(wèn)題。我們?cè)谘菔局芯褪褂昧诉@個(gè)方法。

第二個(gè)選擇是讓用戶故意做出一個(gè)停用詞，讓系統(tǒng)知道他們的查詢語(yǔ)句結(jié)束了。識(shí)別到這個(gè)停用詞后，系統(tǒng)就可以觸發(fā)轉(zhuǎn)錄。所以用戶需要用手勢(shì)比出喚醒詞 > 查詢 > 停用詞。這個(gè)方法的風(fēng)險(xiǎn)在于，如果用戶忘記用手勢(shì)比出這個(gè)停用詞，就會(huì)導(dǎo)致完全不會(huì)觸發(fā)轉(zhuǎn)錄。我在另一個(gè)Github 分支中運(yùn)用了這個(gè)方法，您可以使用喚醒詞 Alexa 作為查詢 “書夾”，即 “Alexa, what’s the weather in New York”(Alexa)？”。

當(dāng)然，如果有一種方法可以準(zhǔn)確區(qū)分來(lái)自內(nèi)部信源（筆記本電腦）和外部信源（附近的 Echo）的語(yǔ)音，就可以解決整個(gè)問(wèn)題，但那又是另一個(gè)難題。

日后，我想會(huì)有許多其他方法可以解決這個(gè)問(wèn)題，這或許可以作為您自己項(xiàng)目的良好起點(diǎn)，用于創(chuàng)建更穩(wěn)健而通用的模型：

Tensorflow.js 還發(fā)布了PoseNet，使用 PoseNet 也可能是一個(gè)有趣的方法。從機(jī)器的角度來(lái)看，只要追蹤幀中手腕、手肘和肩膀的位置應(yīng)該就足以對(duì)大多數(shù)詞匯作出預(yù)測(cè)。在拼寫詞匯時(shí)，手指位置往往非常重要。

使用基于 CNN 的方法（例如 Pacman 示例）或許可以提高準(zhǔn)確度，并使模型更能抵御平移不變性。該方法也有助于在不同人群中更好地實(shí)現(xiàn)泛化。用戶也可以納入保存模型或加載預(yù)訓(xùn)練 Keras 模型的能力，這些都有清晰的文件記錄。這樣，您就不必在每次重啟瀏覽器時(shí)都要訓(xùn)練系統(tǒng)。

某些考慮時(shí)間特性的 CNN+RNN 或 PoseNet+RNN 組合可能會(huì)使準(zhǔn)確性受到影響。

使用 tensorflow.js 中較新的可重用kNN 分類器。

自我首次發(fā)布此項(xiàng)目以來(lái)，人們已在社交媒體上廣泛分享，媒體也進(jìn)行了相關(guān)報(bào)道，甚至 Amazon 也在 Echo Show 上實(shí)現(xiàn)上無(wú)障礙功能（點(diǎn)擊喚醒 Alexa），用于幫助講話困難的人士。雖然我并無(wú)證據(jù)可以證明是我的項(xiàng)目令他們得以實(shí)現(xiàn)這項(xiàng)功能（時(shí)間高度巧合），但如果確實(shí)如此，那真的非?？?。我希望 Amazon Show 或其他基于攝像頭和屏幕的語(yǔ)音助手將來(lái)都可以納入此項(xiàng)功能。對(duì)我而言，這可能是此原型展示的最終用例，并且讓數(shù)百萬(wàn)新用戶都能用上這些設(shè)備。

降低網(wǎng)絡(luò)復(fù)雜度，并且采用簡(jiǎn)單地的架構(gòu)來(lái)創(chuàng)建我的原型，這絕對(duì)有助于這個(gè)項(xiàng)目的快速推廣。我的目標(biāo)并不是要解決整個(gè)手語(yǔ)轉(zhuǎn)文本問(wèn)題。恰恰相反，我想要發(fā)起圍繞包容性設(shè)計(jì)的對(duì)話，以平易親和的方式介紹機(jī)器學(xué)習(xí)，并啟發(fā)人們?nèi)ヌ剿鬟@方面的問(wèn)題，這才是我希望這個(gè)項(xiàng)目能達(dá)成的目標(biāo)。