安全態勢感知系統中K-Means算法的并行化研究
《信息技術與網絡安全》2020年第7期
江佳希，謝穎華
東華大學 信息科學與技術學院，上海201620
摘要： 大數據環境下的網絡安全事件層出不窮，安全態勢感知系統的應用勢在必行。通過挖掘日志數據并進行安全分析，可以實現對異常事件的追責與溯源，有效地減少網絡安全事故的發生。針對傳統K-Means算法時間開銷大、執行效率低的問題，將改進K-Means算法在大數據計算框架Hadoop上實現并行化，來滿足大數據下安全態勢感知系統日志安全分析的需求。實驗表明，改進后的算法在有效性和時間復雜度方面都優于傳統算法。
中圖分類號： TP311
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2020.07.006
引用格式： 江佳希，謝穎華. 安全態勢感知系統中K-Means算法的并行化研究[J].信息技術與網絡安全，2020，
39(7)：36-40，51.
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2020.07.006
引用格式： 江佳希，謝穎華. 安全態勢感知系統中K-Means算法的并行化研究[J].信息技術與網絡安全，2020，
39(7)：36-40，51.
Research on parallelization of K-Means algorithm in security situation awareness system
Jiang Jiaxi，Xie Yinghua
School of Information Science and Technology，Donghua University，Shanghai 201620，China
Abstract： With the emergence of network security events in a big data environment, the application of security situation awareness systems is imperative. By digging log data and performing security analysis, we can achieve accountability and traceability to abnormal events, and effectively reduce the occurrence of network security incidents. Aiming at the problems of large time overhead and low execution efficiency of the traditional K-Means algorithm, the security situation awareness system in this paper improves the K-Means algorithm to achieve parallelization on the big data computing framework Hadoop，and to meet the needs of log security analysis under big data. Experimental results show that the improved algorithm is superior to traditional algorithms in terms of effectiveness and time complexity.
Key words : Hadoop；security situation；K-Means；data mining
隨著大數據時代的來臨，SQL注入攻擊、XSS攻擊等網絡安全事件層見疊出，給網絡安全帶來了巨大的挑戰。日志記錄著設備運行狀態，各種安全事件都會在系統中留下日志記錄，通過對日志進行分析，可以挖掘重要信息，實時掌握網絡安全狀況，既可做到事前防護，又可做到事后追本溯源及責任追查。
本文設計的安全態勢感知系統將采集到的日志文件送至分布式文件系統HDFS進行存儲，在Hadoop架構上將改進的K-Means算法和MapReduce高效的并行計算能力相結合，對存儲的日志進行聚類和分析。安全態勢感知系統可以實時監控網絡安全態勢，實現日志分析追責，有效地減少網絡安全事故的發生。系統采用高可用部署模式，具有可靠、易拓展、易維護以及可視化的特點。
本文詳細內容請下載：http://www.xxav2194.com/resource/share/2000003220
作者信息：
江佳希，謝穎華
(東華大學 信息科學與技術學院，上海201620)
此內容為AET網站原創，未經授權禁止轉載。