基于DenseNet和深度運動圖的行為識別算法
2020年信息技術與網絡安全第1期
張健，張永輝，何京璇
（海南大學，海南 海口 570228）
摘要： 結合深度信息以及RGB視頻序列中豐富的紋理信息，提出了一種基于DenseNet和深度運動圖像的人體行為識別算法。該算法基于DenseNet網絡結構，首先獲取彩色紋理信息和光流信息，然后從同步的深度視頻序列獲取深度信息，以增強特征互補性；再將空間流、時間流和深度流三種特征信息分別作為網絡的輸入；最后通過LSTMs進行特征融合和行為分類。實驗結果表明，在公開的動作識別庫UTDMHAD數據集上，該算法識別準確率為 92.11%，與該領域中的同類算法相比表現優異。
中圖分類號：TP391.4
文獻標識碼：A
DOI： 10.19358/j.issn.2096-5133.2020.01.012
引用格式：張健，張永輝，何京璇。基于DenseNet和深度運動圖的行為識別算法［J］。信息技術與網絡安全，2020,39（1）：63-69.
文獻標識碼：A
DOI： 10.19358/j.issn.2096-5133.2020.01.012
引用格式：張健，張永輝，何京璇。基于DenseNet和深度運動圖的行為識別算法［J］。信息技術與網絡安全，2020,39（1）：63-69.
Action recognition algorithm based on DenseNet and depth motion map
Zhang Jian,Zhang Yonghui,He Jingxuan
（Hainan University,Haikou 570228,China）
Abstract： This paper proposes a human behavior recognition algorithm based on DenseNet and DMM,which integrates depth information and rich texture information in RGB video sequence.Based on the DenseNet network structure,the algorithm firstly obtains color texture information and optical flow information,and then obtains depth information from synchronous depth video sequence to enhance feature complementarity.Three kinds of characteristic information are used as the input of spatial flow network,temporal flow network and deep flow network.Then LSTMs is used for feature fusion and behavior classification.Experimental results show that the recognition rate of UTDMHAD data set is 92.11%,which is an excellent performance compared with similar algorithms in this field.
Key words : action recognition;depth motion maps;DenseNet;optical flow
0 引言
近年來，有關人體行為識別的研究層出不窮，現如今已成為計算機視覺研究中日益關注的熱點。其中，對視頻中目標的行為識別一直以來都是一個非常活躍的研究領域。雖然在對于靜止圖像識別的研究上取得了很大的成功，但是對視頻類的行為識別如今仍是一個富有挑戰性的課題。
在行為識別領域中，卷積神經網絡得到了廣泛的應用。早期的研究人員主要嘗試融合光流與RGB視頻幀來提高行為識別準確率。RGB視頻內的細節信息非常豐富，但缺乏深度信息，其識別準確率常常受光照變化、陰影、物體遮擋等因素的干擾。如文獻［2］在2014年首次提出了創造性的雙流網絡，通過從RGB視頻序列提取時空信息進行識別；文獻［3］用基于長短期記憶的多尺度卷積神經網絡來提取多層次表觀特征，從而學習長周期的高層時空特征；文獻［4］使用在ImageNet上進行預訓練的DenseNet來搭建雙流卷積神經網絡，從中提取空間和時間特征，然后微調來進行單幀活動預測。
本文詳細內容請下載：http://www.xxav2194.com/resource/share/2000003117
作者信息：
張健，張永輝，何京璇
（海南大學，海南 海口 570228）
此內容為AET網站原創，未經授權禁止轉載。