基于卷積LSTM的視頻中Deepfake檢測方法
信息技術與網絡安全
李永強，白 天
(中國科學技術大學 軟件學院，安徽 合肥230026)
摘要： 以Deepfake為代表的偽造人臉技術，使用少量的人臉數據就能將視頻中的人臉替換成為目標人臉，從而達到偽造視頻的目的。此類技術的濫用將帶來惡劣的社會影響，需要使用檢測技術加以制裁。針對這一問題，已有若干檢測算法被提出。現有方法具有一定局限性，單幀檢測算法忽略了Deepfake動態缺陷；當數據存在缺陷時，模型可能會陷入“學會特定臉”的陷阱中。提出了一種對視頻數據中的Deepfake檢測方法，使用結合CNN和LSTM的卷積LSTM，判斷視頻真偽。提出了一種基于人臉特征點的cutout方法，能抑制網絡學會特定臉。實驗表明，在不同場景下，準確度對比基準算法均有提升。
中圖分類號： TP18
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.04.005
引用格式： 李永強，白天. 基于卷積LSTM的視頻中Deepfake檢測方法[J].信息技術與網絡安全，2021，40(4)：28-32.
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.04.005
引用格式： 李永強，白天. 基于卷積LSTM的視頻中Deepfake檢測方法[J].信息技術與網絡安全，2021，40(4)：28-32.
Deepfake detection method in videos based on convolutional LSTM
Li Yongqiang，Bai Tian
(School of Software Engineering，University of Science and Technology of China，Hefei 230026，China)
Abstract： The face forgery technology represented by deepfake can replace the face in video with the target face by using a small amount of face data, so as to achieve the purpose of forgery video. The abuse of this kind of technology will bring adverse social effects, which need to be punished by using detection technology. The existing methods have some limitations, single frame detection algorithm ignores the dynamic defect of deepfake; when the data has defects, the model may fall into the trap of "learning specific face". In this paper, we propose a forgery face detection method in video, which uses the convolutional LSTM combined with CNN and LSTM to judge if a video is original or manipulated by deepfake. In addition, we propose a cutout method based on landmarks, which can inhibit the network from learning specific face. Experiments show that the accuracy of the baseline algorithm is improved in different scenes.
Key words : Deepfake detection；computer vision；deep learning
0 引言
近年來，基于深度學習技術的圖像生成技術迅速發展，視頻人臉偽造技術也隨之日趨成熟。利用此類技術的人臉偽造技術已經可以欺騙普通人類[1]。但這些技術的濫用也引發了一些社會問題，因為這些技術可以利用公眾人物公開的視頻、圖像素材，偽造公眾人物出場的虛假視頻，發布虛假的言論，或偽造色情影片，破壞名譽。由于Deepfakes項目[2]的廣泛流傳，這一類技術常被通稱為Deepfake。為了避免Deepfake技術的濫用，許多研究團體做出了卓越的貢獻。ROSSLER A等人發布了包含大量Deepfake數據的公開數據集FaceForensics++[1]，以幫助研究人員研究檢測算法。Facebook開展了DFDC(Deepfake Detection Challenge)比賽并公布了訓練數據集[3]。
本文詳細內容請下載：http://www.xxav2194.com/resource/share/2000003474
作者信息：
李永強，白 天
(中國科學技術大學 軟件學院，安徽 合肥230026)
此內容為AET網站原創，未經授權禁止轉載。