近日，由盧志武博士領導的中國人民大學信息學院機器學習研究組開發了一套 AI 讀心師系統，該系統可以通過分析一段短視頻，來進行心理健康分析、個人信用評估、五重性格測試等，可應用于銀行面簽、法庭庭審、公司面試等多個場景。

AI 讀心師系統

中國人民大學信息學院機器學習研究組由盧志武博士，以及 10 余名博士生與碩士生組成，屬于文繼榮教授的大數據分析團隊。該研究組在 TPAMI、IJCV、NIPS、CVPR 等頂級期刊/會議上發表 40 余篇論文，主持了國家自然科學基金、軍委科技委等多個國家項目，還曾獲人工智能國際權威評測 ImageNet 2015 視頻檢測任務亞軍。

據盧志武博士的介紹，AI 讀心師系統作為一套能夠進行心理健康以及信用分析的系統，主要基于該研究組在精神疾病診斷、視頻測謊兩個方向上的研究成果。下面我們進行一一介紹：

可快速檢測 ASD 和 MDD 的深度學習模型 DeepInsight

將人工智能技術應用到精神疾病診斷這一領域，是研究組的一個重要嘗試，其相關的研究成果也發表在了計算機視覺權威會議 BMVC 2018（全稱為 British Machine Vision Conference，為次于 CVPR、ICCV、ECCV 的第四大計算機視覺會議）。他們在論文（下載地址：http://bmvc2018.org/contents/papers/0406.pdf）中，提出了一種新的深度學習模型——DeepInsight，該模型可用于快速檢測自閉癥譜系障礙（ASD）和重度抑郁障礙（MDD）。

據之前的醫學研究表明，患有自閉癥的兒童與正常發育的兒童在面部特征上存在明顯差異。基于這一發現，研究組初步考慮利用深度學習方法提取對自閉癥診斷有辨別力的面部特征。然而，由于現有的標記數據（真實患者數據）遠遠不能滿足對自閉癥診斷深度模型的訓練，因而他們嘗試通過同時考慮兩種典型的精神障礙（ASD 和 MDD）來完成相關的任務，并提出了一個多任務多尺度深度學習模型 DeepInsight，以便對每個診斷任務的標記數據進行擴充，提升深度學習模型的性能。

圖 1 多任務多尺度深度學習模型 DeepInsight

本文通過從醫院收集真實患者數據以及從微博等社交媒體收集患者數據，首次創建了公開的自閉癥和抑郁癥人臉數據集。基于這一數據集，DeepInsight 模型最終取得非常出色的成績——自閉診與抑郁癥的診斷準確率均接近 90%（如圖 2），驗證了該診斷模型的有效性。

圖 2 自閉診與抑郁癥診斷模型的結果比較

視頻測謊深度學習模型 FFCSN

研究組還將人工智能技術應用于視頻測謊 (deception detection from videos）[2]，其相關論文的網址為：http://arxiv.org/abs/1812.04429。目前，視頻測謊問題面臨兩大挑戰：(1) 如何有效地融合面部和動作信息來判斷視頻中個體是否說謊；(2) 真實視頻數據集規模很小，如何將深度學習應用在數量有限的訓練數據上。為了解決這些問題，本文提出了 face-focused cross-stream network（FFCSN）模型（如圖 3）。

圖 3 視頻測謊深度學習模型 FFCSN

不同于常見的雙流網絡模型（two-stream network），FFCSN 模型考慮將人臉檢測用于空間流來捕捉面部特征，并在整個網絡中利用相關學習來融合時空特征進行聯合訓練。此外，FFCSN 模型還引入了元學習（meta learning）和對抗學習（adversarial learning）來解決訓練數據量小的問題。

FFCSN 模型在公開的真實庭審視頻數據集上取得了當前最好的結果，同時，該模型在考慮音頻與文本信息后實現了 97% 的識別準確率（如圖 4），驗證了該模型在視頻測謊中非常有效。

圖 4 視頻測謊模型的結果比較

AI 讀心師系統的具體實現方式

得益于上述研究成果，AI 讀心師系統應運而生。基于人臉識別技術，該系統主要有三個功能模塊：1. 心理健康測評；2. 個人信用分析；3. 五重性格評估。具體實現方式上，輸入被測試者的面部表情短視頻后，系統會輸出心理健康分析、個人信用評估、五重性格測試三個維度的分析結果。

其分析流程及采用的主要算法和模型描述如下：

1. 人臉檢測：被試人面部表情視頻流輸入，經過 opencv 和 ffmpeg 工具進行視頻抽幀，由人臉檢測模型（多任務級聯卷積神經網絡 MTCNN）對每幀中的人臉進行檢測、裁剪、矯正后得到標準人臉圖像，并作為后續三個分析模塊的輸入數據；

2. 心理健康測評：人臉檢測部分得到的標準人臉圖像根據是否正臉 、是否清晰、裁剪尺寸適當的原則經過篩后得到一張關鍵人臉圖像，將該關鍵人臉圖像輸入預訓練好的心理健康測評模型（InceptionV3 使用心理健康人臉圖像數據集進行預訓練）中進行特征提取，并將提取出的人臉特征輸入 SVM 分類器中進行分類，最終得到該模塊輸出，即心理健康程度評分；

3. 個人信用分析：人臉檢測部分得到的標準人臉序列輸入到預訓練好的個人信用分析模型中（ResNet34 使用個人信用人臉圖像序列數據集進行預訓練）進行特征提取并分類，該模塊不提取關鍵幀，即對被試人員面部表情視頻流中出現的所有人臉圖像進行分析，將每一幀人臉圖像分析結果進行加權匯總后給出該模塊最終分析結果，即個人信用評分；

4. 五重性格評估：人臉檢測部分得到的標準人臉序列輸入到預訓練好的五重性格評估模型（ResNet34 使用五重性格人臉圖像序列數據集進行預訓練）中進行特征提取及分類，該模塊也不提取關鍵幀，即對被試人員面部表情視頻流中出現的所有人臉圖像進行分析，將每一幀人臉圖像分析結果進行加權匯總后給出該模塊最終分析結果，即被試人員五重性格各維度的評分。

目前，該系統已有實體店智慧零售、高中生心理健康測試等成功案例。例如在心理健康測試方面，AI 讀心師系統通過分析某高中一年級 1200 余名學生的信息，將 AI 得到的結果與調查問卷的結果相互驗證，最終發現 17 疑似例抑郁癥樣本。