面部表情是人類通過面部肌肉的運(yùn)動和變化來表達(dá)情緒、態(tài)度和反應(yīng)的重要表達(dá)渠道。面部表情識別是指利用技術(shù)自動檢測和分析面部表情的變化，以識別和分類不同的情緒狀態(tài)。近年來的研究推動了面部表情識別技術(shù)的發(fā)展，但仍存在一些不足，其中主要原因是目前的研究主要依靠單一傳感器信號進(jìn)行面部表情識別，這可能導(dǎo)致以下問題：從單個傳感器信號中提取的面部表情特征有限，數(shù)據(jù)量不足，在采集過程中容易受到外部因素的干擾，降低了系統(tǒng)的抗干擾能力。上述問題將導(dǎo)致人臉表情識別系統(tǒng)的準(zhǔn)確性下降，影響其整體魯棒性。

為了解決這一問題，山東大學(xué)李陽教授團(tuán)隊(duì)創(chuàng)造性地提出了一種融合多傳感器信號的方法，采集更多的面部表情分類特征，提高了面部表情識別的準(zhǔn)確率。通過使用生物相容性材料制備柔性傳感器，并集成多個傳感器信號，有望克服單個信號的局限性，提高系統(tǒng)的魯棒性、識別精度和可穿戴性。該研究以“Machine-Learning Enabled Biocompatible Capacitive-Electromyographic Bimodal Flexible Sensor for Facial Expression Recognition”為題，發(fā)表在最新一期《Advanced Functional Materials》上，濟(jì)南大學(xué)碩士郜建強(qiáng)為第一作者，濟(jì)南大學(xué)牛閎森副教授、青島大學(xué)李元岳副教授和山東大學(xué)李陽教授為論文共同通訊作者。

【基于電容-肌電雙模傳感器的面部表情識別系統(tǒng)的概念圖】

本研究提出了一種電容-肌電雙模傳感器（CEDS）用于獲取高保真的電容和肌電信號，并結(jié)合一維卷積神經(jīng)網(wǎng)絡(luò)（1D-CNN）算法構(gòu)建了一個先進(jìn)的面部表情識別系統(tǒng)，實(shí)現(xiàn)了面部表情的高精度識別（圖1a）。對傳感器進(jìn)行生物相容性和抑菌性測試。結(jié)果表明，它穿著舒適，具有良好的耐磨性，并表現(xiàn)出優(yōu)異的生物相容性和抑菌性能。


圖1 基于柔性傳感器的面部表情識別系統(tǒng)的概念圖、表征和生物相容性測試
【CEDS的性能測試】

CEDS由電容式壓力傳感單元和用于電生理信號監(jiān)測的干電極組成，并使用3D堆疊方法組裝。其中，上部為電容式壓力傳感器，電極基板采用混合液相分離法制備多孔結(jié)構(gòu)，以提高電容性能。使用靜電紡絲構(gòu)建介電層，以產(chǎn)生具有紡錘結(jié)（SK）結(jié)構(gòu)的納米纖維膜，在電極層和介電層之間形成雙耦合微觀結(jié)構(gòu)。此外，1-丁基-2,3-二甲基咪唑氯化物鹽（BMMICl）的摻雜實(shí)現(xiàn)了雙電層（EDL）效應(yīng)，顯著提高了傳感器的性能。與凝膠電極相比，使用干電極簡化并縮短了生理電信號信號的采集過程。此外，由于需要與皮膚直接接觸，傳統(tǒng)的凝膠電極通常會造成皮膚刺激和感染的風(fēng)險(xiǎn)，而干電極更有可能滿足生物相容性要求。因此，干電極傳感器用于電生理信號監(jiān)測，解決了水凝膠電極引起的皮膚刺激和失水問題，更適合長期使用。

圖2 CEDS的電容響應(yīng)性能
圖3 CEDS的電生理信號響應(yīng)性能

【面部表情識別系統(tǒng)的應(yīng)用】

面部表情是表達(dá)情感和意圖的主要方式之一，涵蓋了豐富的情感和認(rèn)知信息。人臉的主要肌肉群幫助我們實(shí)現(xiàn)各種豐富的表情，如圖4a所示。與僅使用單個信號識別面部表情的傳統(tǒng)方法不同，作者結(jié)合了面部EMG信號和電容信號，通過綜合分析這兩個信號的特征來提高面部表情識別的準(zhǔn)確性（圖4b）。該系統(tǒng)包括電容式數(shù)字轉(zhuǎn)換器（CDC）模塊、EMG信號采集模塊、主控制芯片（MCU）和藍(lán)牙模塊。它能夠同時采集電容和EMG信號，并通過藍(lán)牙將其無線傳輸?shù)街鳈C(jī)，用于數(shù)據(jù)分析和面部表情識別。在本研究中，創(chuàng)新性地捕獲了面部表情變化過程中的電容信號和肌電信號，并利用1D-CNN進(jìn)行分類。這兩種信號的協(xié)同效應(yīng)提供了更多的面部表情特征，顯著提高了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果和分類能力，大大提高了面部表情識別的準(zhǔn)確性。

圖4、5 基于一維卷積神經(jīng)網(wǎng)絡(luò)的面部表情識別系統(tǒng)

總結(jié)：在這項(xiàng)工作中，作者提出了一種電容-肌電雙模傳感器，結(jié)合1D-CNN實(shí)現(xiàn)了高精度的面部表情分類。為了提高電容響應(yīng)性能，巧妙地引入PVDF膜的多孔結(jié)構(gòu)和PVA/BMMICl膜的SK結(jié)構(gòu)，在電極層和介電層之間創(chuàng)建雙耦合微觀結(jié)構(gòu)；同時，通過摻雜BMMICl，電容式傳感器產(chǎn)生了EDL效應(yīng)，有效地提高了傳感器的響應(yīng)性能。此外，干電極傳感器用于電生理信號監(jiān)測，克服了與水凝膠電極相關(guān)的皮膚刺激和失水問題，并顯示出更好的長期使用適用性。通過細(xì)胞毒性和細(xì)菌抑制試驗(yàn)驗(yàn)證了CEDS的良好生物相容性和抗菌性能。最后，作者探索了一種基于離子電效應(yīng)的疲勞駕駛監(jiān)測系統(tǒng)、一種基于電生理信號監(jiān)測的機(jī)器人控制系統(tǒng)和一種結(jié)合電容和肌電信號的面部表情識別系統(tǒng)，該系統(tǒng)能夠?qū)崟r監(jiān)測和識別八種面部表情。研究表明，CEDS顯著提高了識別精度，展示了其在面部表情監(jiān)測系統(tǒng)中的巨大潛力，并為智能可穿戴設(shè)備和人機(jī)交互技術(shù)的發(fā)展提供了寶貴的見解。

審核編輯 黃宇