面部表情是人類通過面部肌肉的運動和變化來表達情緒、態度和反應的重要表達渠道。面部表情識別是指利用技術自動檢測和分析面部表情的變化，以識別和分類不同的情緒狀態。近年來的研究推動了面部表情識別技術的發展，但仍存在一些不足，其中主要原因是目前的研究主要依靠單一傳感器信號進行面部表情識別，這可能導致以下問題：從單個傳感器信號中提取的面部表情特征有限，數據量不足，在采集過程中容易受到外部因素的干擾，降低了系統的抗干擾能力。上述問題將導致人臉表情識別系統的準確性下降，影響其整體魯棒性。

為了解決這一問題，山東大學李陽教授團隊創造性地提出了一種融合多傳感器信號的方法，采集更多的面部表情分類特征，提高了面部表情識別的準確率。通過使用生物相容性材料制備柔性傳感器，并集成多個傳感器信號，有望克服單個信號的局限性，提高系統的魯棒性、識別精度和可穿戴性。該研究以“Machine-Learning Enabled Biocompatible Capacitive-Electromyographic Bimodal Flexible Sensor for Facial Expression Recognition”為題，發表在最新一期《Advanced Functional Materials》上，濟南大學碩士郜建強為第一作者，濟南大學牛閎森副教授、青島大學李元岳副教授和山東大學李陽教授為論文共同通訊作者。

【基于電容-肌電雙模傳感器的面部表情識別系統的概念圖】

本研究提出了一種電容-肌電雙模傳感器（CEDS）用于獲取高保真的電容和肌電信號，并結合一維卷積神經網絡（1D-CNN）算法構建了一個先進的面部表情識別系統，實現了面部表情的高精度識別（圖1a）。對傳感器進行生物相容性和抑菌性測試。結果表明，它穿著舒適，具有良好的耐磨性，并表現出優異的生物相容性和抑菌性能。


圖1 基于柔性傳感器的面部表情識別系統的概念圖、表征和生物相容性測試
【CEDS的性能測試】

CEDS由電容式壓力傳感單元和用于電生理信號監測的干電極組成，并使用3D堆疊方法組裝。其中，上部為電容式壓力傳感器，電極基板采用混合液相分離法制備多孔結構，以提高電容性能。使用靜電紡絲構建介電層，以產生具有紡錘結（SK）結構的納米纖維膜，在電極層和介電層之間形成雙耦合微觀結構。此外，1-丁基-2,3-二甲基咪唑氯化物鹽（BMMICl）的摻雜實現了雙電層（EDL）效應，顯著提高了傳感器的性能。與凝膠電極相比，使用干電極簡化并縮短了生理電信號信號的采集過程。此外，由于需要與皮膚直接接觸，傳統的凝膠電極通常會造成皮膚刺激和感染的風險，而干電極更有可能滿足生物相容性要求。因此，干電極傳感器用于電生理信號監測，解決了水凝膠電極引起的皮膚刺激和失水問題，更適合長期使用。

圖2 CEDS的電容響應性能
圖3 CEDS的電生理信號響應性能

【面部表情識別系統的應用】

面部表情是表達情感和意圖的主要方式之一，涵蓋了豐富的情感和認知信息。人臉的主要肌肉群幫助我們實現各種豐富的表情，如圖4a所示。與僅使用單個信號識別面部表情的傳統方法不同，作者結合了面部EMG信號和電容信號，通過綜合分析這兩個信號的特征來提高面部表情識別的準確性（圖4b）。該系統包括電容式數字轉換器（CDC）模塊、EMG信號采集模塊、主控制芯片（MCU）和藍牙模塊。它能夠同時采集電容和EMG信號，并通過藍牙將其無線傳輸到主機，用于數據分析和面部表情識別。在本研究中，創新性地捕獲了面部表情變化過程中的電容信號和肌電信號，并利用1D-CNN進行分類。這兩種信號的協同效應提供了更多的面部表情特征，顯著提高了神經網絡的訓練效果和分類能力，大大提高了面部表情識別的準確性。

圖4、5 基于一維卷積神經網絡的面部表情識別系統

總結：在這項工作中，作者提出了一種電容-肌電雙模傳感器，結合1D-CNN實現了高精度的面部表情分類。為了提高電容響應性能，巧妙地引入PVDF膜的多孔結構和PVA/BMMICl膜的SK結構，在電極層和介電層之間創建雙耦合微觀結構；同時，通過摻雜BMMICl，電容式傳感器產生了EDL效應，有效地提高了傳感器的響應性能。此外，干電極傳感器用于電生理信號監測，克服了與水凝膠電極相關的皮膚刺激和失水問題，并顯示出更好的長期使用適用性。通過細胞毒性和細菌抑制試驗驗證了CEDS的良好生物相容性和抗菌性能。最后，作者探索了一種基于離子電效應的疲勞駕駛監測系統、一種基于電生理信號監測的機器人控制系統和一種結合電容和肌電信號的面部表情識別系統，該系統能夠實時監測和識別八種面部表情。研究表明，CEDS顯著提高了識別精度，展示了其在面部表情監測系統中的巨大潛力，并為智能可穿戴設備和人機交互技術的發展提供了寶貴的見解。

審核編輯 黃宇