歡迎光臨中國科學院心理研究所!
? 您的位置:首頁 > 新聞動態 > 科研進展
心理所研究提出一種在長視頻中多尺度檢測微表情片段的卷積神經網絡
作者: 中國科學院行為科學重點實驗室 黃昌兵研究組 李婧婷 ║ 日期: 2021/04/09 

  微表情是一種短暫微小的面部表情,通常出現在個體試圖隱藏真實感受的時刻。微表情的分析有很多潛在的應用價值,例如在醫療關懷、執法審訊、國家安全等領域。和常見的普通表情相比,微表情有三個顯著特征:持續時間短(<500ms)、強度低和局部運動。人類用肉眼很難發現和識別如此短暫而微弱的表情。因此需要借助計算機視覺來進行相關的分析。

  其中,微表情檢測的目標是定位微表情在視頻中發生的時刻,這一研究非常具有實用價值。如果能在一段視頻中準確地檢測和定位到某個時間點有微表情出現,那么就說明這個人在這個時刻可能會有異常。然而,在真實場景下,從大量頭部動作和人臉表情中檢測分離出微小短暫的微表情是極具挑戰性的任務。因此,目前微表情檢測的研究相對較少。同時,由于微表情數據庫的樣本量較少,限制了深度學習技術與微表情檢測方法的結合。近年來,更適合用于微表情檢測研究的長視頻數據集CAS(ME)2和SAMM已經被發布。研究長視頻中微表情的檢測方法將有助于實現微表情分析在真實場景的應用。

  受平面人臉檢測技術啟發,中國科學院行為科學重點實驗室黃昌兵研究組的科研人員嘗試將相應技術擴展至三維時-空上的人臉微表情檢測,提出了一個多尺度的卷積神經網絡(CNN):MESNet。

  MESNet包含一個兩階段的預測框架和幾種針對微表情檢測任務設計的特殊的架構和策略。首先,研究者設計了一個基于微表情識別任務的輕量級的2+1D-時空卷積網絡,通過分別提取空間和時間上微表情特征來區分固定長度的視頻片段是否為微表情或非微表情樣本(如圖 1所示)。

 

圖1 2+1D-時空卷積網絡

 

  在MESNet中,2+1D-時空卷積網絡被用于提供主干網絡和預先訓練的參數。此外,為了更準確地檢測微表情片段,研究者增加了一個片段候選網絡(Clip Proposal Network,CPN)和一個分類回歸網絡(CRNet)。其中,CPN是一個全卷積網絡,它被添加到2+1D-時空卷積網絡預訓練的卷積層中,并將在長視頻中所有可能的微表情區間列入候選(如圖2所示)。然后,CRNet模塊對候選視頻片段進行進一步的判斷,并且回歸它們的時間邊界,從而得出最終的微表情片段檢測結果(如圖3所示)。同時,為了提升網絡的檢測性能,視頻片段的光流特征作為高級特征被輸入到MESNet中。

 

圖2 片段候選網絡(Clip Proposal Network,CPN)

 

圖3 分類回歸網絡(CRNet)

 

  此外,研究者還改進了之前的微表情檢測結果的評估方法,重新定義了更適應基于微表情區間檢測的指標。在最近發布的長視頻數據集CAS(ME)2和SAMM中進行了大量的實驗,并使用留一交叉驗證法來評估定位性能。對比結果表明,該MESNet算法的微表情片段檢測性能表現出色,特別是在SAMM數據集上,其檢測結果明顯優于其它已發表的方法。

  該項目受國家自然科學基金項目 (No. U19B2032, 61772511,62061136001),中國博士后科學基金(2020M680738)以及國家重點研發計劃重點專項(2018AAA0100205)資助,研究結果在線發表于IEEE Transactions on Image Processing(TIP):

  Wang, Su-Jing, He, Ying, Li, Jingting and Fu, Xiaolan. “MESNet : A Convolutional Neural Network for Spotting Multi-Scale Micro-Expression Intervals in Long Videos.” IEEE Transactions on Image Processing (2021). DOI: 10.1109/TIP.2021.3064258,

 

  

  

  

版權所有:中國科學院心理研究所 備案編號:京ICP備10049795號-1 京公網安備110402500018號
地址:北京市朝陽區林萃路16號院 郵編:100101 電話:(86-10)64879520
Email:webmaster@psych.ac.cn
彩神官网 彩神app官网