在電影《阿凡達》中，科學家制造出一個克隆 Na‘vi 人，并讓人類的意識進駐其中，使其得以識別人類的腦波信號，人們利用自己的腦電波就可以完成對它的操縱。

在《碟中諜 5：神秘國度》電影中，Benji 必須通過一個檢驗姿態的通道來驗證身份，從而可以進入配合 Ethan 的行動。

這樣一系列的腦波與步態識別的電影場景既映照著人類對科技與未來的美好想象，也成為我們對科技的進一步嘗試與探索的方向之一。

由新南威爾士大學副教授姚麗娜和學生張翔等人于近期發表在美國計算機學會智能系統與技術匯刊（ACM Transactions on Intelligent Systems and Technology）的論文《DeepKey： 一種通過深度解碼步態和腦波的多模態生物識別系統》（DeepKey： A Multimodal Biometric Authentication System via Deep Decoding Gaits and Brainwaves）進一步為上述設想提供了實現可能性。

生物識別技術，是一種用人類生物特征進行身份認證的技術，這些生物特征通常具有唯一性的。而生物識別的認證則包括利用個體獨特的、可測量的生理和行為特征識別個體的各種技術。

傳統的生物識別系統如人臉識別、虹膜、視網膜、聲音和指紋目前正在被廣泛應用，但隨著反監視面具、隱形眼鏡、聲碼器或指紋膜等技術的出現，人類被生物測量工具欺騙的風險也越來越高。

在此次研究中，姚麗娜團隊獨具一格地設計了一個多模態生物識別系統，命名為 DeepKey。該系統能夠利用腦電圖（EEG） 和步態信號雙認證系統進行生物識別，以克服傳統的單模態生物認證系統的局限性，更大程度地提高生物識別的準確性和風險防范。

DeepKey 包含了兩個關鍵部分：一個是用于屏蔽未授權受試者的無效 ID 過濾模塊，一個是基于注意力的遞歸神經網絡（RNN） 的識別模塊，用于并行識別受試者的腦電圖 ID 和步態 ID。

只有當使用者順利通過無效 ID 過濾模塊并且其腦電圖 ID 與步態 ID 相匹配的時候，才會獲得通行權限。研究團隊設計了一個包括基于注意力的 RNN 來檢測和分類多模態傳感器數據的框架，并對人們如何同時執行步態和大腦活動的巨大多樣性進行解碼。

DeepKey—— 基于 MindID 的進一步擴展

先前，姚麗娜和張翔就提出了一種基于腦電圖的生物特征識別方法 ——MindID，以實現高精度和魯棒性能。

姚麗娜表示，“腦電波技術的分析以及應用 （如腦機接口）一直以來都是比較活躍的領域。之前許多工作主要集中在通過腦電波識別人的意圖從而可以實現人腦與外部世界的直接交流，例如控制相關硬件比如打字鍵盤、機器人、輪椅等。這次的研究來自于我們最初的一些思考，即人的腦電波是否也有獨特性，并且獨特到可以區分不同的人，就像指紋和聲紋一樣，也有腦紋。”

圖 | 密鑰認證系統的工作流程（來源：受訪者）

研究團隊通過大量的數據分析確認了腦電波對于每個人都有獨特性的假設，并將目前一些已有的識別技術從通用性、對攻擊的魯棒性、計算復雜度等 7 個不同的尺度與腦紋識別做對比，得出了一些比較優勢。

比如，與傳統的生物識別技術相比，基于腦電波的識別具有一個巨大的優點，即承載腦電波的電磁場是不可見的，腦電波是很難被復制和攻擊的，因此基于腦紋的 ID 識別具有非常高的安全性和抗攻擊性。

另外，腦電波有不同的波段，并分別承載不同的特征，例如 Delta 波段更多地反應了人在深度睡眠狀態中的低意識狀態；Beta 波段更多地顯示了人的相對清醒及日常行為中的活躍狀態等。

經過逐層分析和探究后，研究團隊提出了一個從端到端的、基于腦電波的 ID 識別深度學習框架。

不同于以往一般需要多階段、大量的數據預處理和特征工程配合統計機器學習的腦電波分析，MindID 可以直接處理腦電波的原始數據，做波段分解后只保留 Delta 波段。

基于此，他們設計出一個基于注意力機制的 LSTM 的 encoder-decoder 架構來學習魯棒的腦電波表征，并在此基礎上進行識別。這項研究于 2018 年正式被 UbiComp 接收。

DeepKey 模型與實際環境中的可行性

為了克服傳統的單模態生物認證系統的局限性，適應對身份識別的安全可靠性越來越高的要求，姚麗娜團隊提出了一種基于 EEG 和步態的多模態生物認證系統 DeepKey。

DeepKey 包含了三個獨立的模塊：無效 ID 過濾模塊、基于 Delta 波段的腦電信號識別模塊和步態識別模塊。

當 DeepKey 系統收到一個用戶的通行權限請求時，系統會通過非侵入式腦波采集頭盔收集用戶的實時腦電波信號并通過可穿戴式傳感器采集用戶的步態信號。

例如腕部、腰部和腿部的三維加速度和角動量等信息，DeepKey 系統會首先將實時采集到的腦電波與步態信號輸入至無效 ID 過濾模塊。無效 ID 過濾模塊會旨在通過無監督的腦電波信號對比快速做出初步判斷。

如果用戶被判斷為冒名頂替者，其通行請求會直接被拒絕。如果用戶通過了初步判斷，系統則會對其腦電波與步態信號進行進一步分析。

研究團隊通過自主設計的結合注意力模型的 RNN 算法同時對腦電波信號和步態信號進行 ID 識別。腦電信號識別模塊會根據學習到腦電波信號的表征確認用戶的身份即腦電圖 ID。

同理，步態識別模塊會確認用戶的步態 ID。其后，DeepKey 系統會對照用戶的腦電圖 ID 和步態 ID，只有二者一致時才會予以通行，否則會拒絕通行請求。

另外，研究團隊還通過大量的實驗對關鍵參數（如會話和腦電頻帶） 和系統延遲進行了研究。例如，DeepKey 系統在接收到用戶信號后只需要 0.39 秒即可完成身份驗證，在系統延遲方面完全滿足實際應用的要求。

實驗團隊還測試了外界干擾對于系統準確性的影響，實驗結果表明 DeepKey 系統在多種環境因素的影響下依然具有很好的性能，表現出良好的魯棒性。并且 DeepKey 對于硬件的依賴較低，在較少的腦電波通道上依然可以取得令人滿意的識別效果。

由于腦電波信號的不可復制性，相較于傳統的生物識別系統而言，DeepKey 和 MindID 能夠提供更好的安全性，更加滿足一些高保密場所的要求。

在這些場所中，使用者更加關注的是拒絕一切可疑的通行請求，最大化的避免 “漏網之魚”。就此而言，DeepKey 在實驗室條件下實現了很好的甄別效果（全數識別并拒絕了來自假冒者的 1000 個通行請求）。

這一成果為進一步研究基于腦電和步態數據的多模態生物特征認證系統奠定了基礎。

姚麗娜表示，其一，Deepkey 和 MindID 的系統設計推廣了深度學習在生物信息識別方面的應用，并且證明了深度學習可以促進并完善這個領域的研究；

其二，基于一些獨特的優勢，比如不可復制性和可靠性等，腦電波可以作為一種有效的手段來進行生物識別，并且通過實驗證明了人的腦電波信號的‘獨一無二性’，證實了‘腦紋’的存在；

其三，在實驗室條件下證明了這一類解決方案的可行性以及有效性，系統可以在很短時間內準確識別出具有通行權限的用戶和假冒者，這也為以后在商業以及真實場景中的推廣提供了佐證；

其四，DeepKey 的硬件設備只需要腦電波采集器（由于近年來的科技發展，非侵入式腦電波采集設備的價格已大大降低）和步態傳感器，可以將系統成本控制在較低范圍內。

而就 DeepKey 多模態生物識別系統在現實場景中應用的可行性上來說，姚麗娜表示：“目前在我們的實驗環境下，這個工作的可靠性是比較好的。這項研究也提供了一個可行的解決方向。”

而運用到實際環境的話，可能還需要進一步更復雜的驗證。比如，在姚麗娜目前的實驗中，腦波主要采集于非侵入式的 EEG 采集頭盔，這種設備雖然易于攜帶而且低廉，但是劣勢也很明顯，比如信噪比很低，容易受客觀環境以及受試人自身身體、心理以及情緒變化的影響。

而這項研究提供一個新的視角，即在一些對安全和驗證要求相當高的場所和地點，這種多模態的解決方案依然值得深入探索。

談及研究過程，姚麗娜告訴 DeepTech：“MindID 和 DeepKey 是我的學生張翔跟我在 2016 年著手正式開始做的。我們起步較晚，基礎也相對薄弱。這幾年的探索是個比較艱辛的過程，對每個科研人來說也許都會感同身受。我個人覺得做研究最重要的是真正的熱愛，這會讓我們自然而然產生一種內生的驅動力，從而持之以恒，不輕易放棄。真理無窮，進一寸有一寸的歡喜。”

原文標題：科學家研發多模態生物識別系統，基于腦紋獨特性來防范身份欺騙 | 專訪

文章出處：【微信公眾號：DeepTech深科技】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq