1  需求描述

在中國人民銀行、中國銀監會的監管要求下，各銀行對信息化的安全建設不斷加大投入,部署的安全防護設備也日益增多，各類安全設備每天產生海量的告警日志，所存儲的日志量每天可達到GB數量級。

針對這些龐大的運維告警日志，存在難以有效地進行管理和分析的問題，對于當前的安全運營管理人員和團隊來說亟待解決。銀行數據中心，IT運維領域涉及的運維數據涵蓋應用日志、系統日志、性能數據、網絡數據、流量數據、資產配置數據、數據庫日志、漏洞管理數據等。上述信息的數據量大，格式差異大且分散在不同的服務器中，如何搭建日志智能分析平臺，將數據集中整合、加工處理并應用和展現在運維管理中，進而提升安全運維能力、提高運維服務質量和效率，是本文探索研究的重點。

2  技術路線選型

傳統SOC/SIEM雖都具備日志審計與分析的功能，但是隨著攻防對抗的加劇，其架構已經不能滿足目前的需要，下面就傳統SOC/SIEM與基于大數據日志智能分析平臺在架構、功能方面進行對比，如表1所示。

因此，基于大數據的日志智能分析平臺是目前主流的解決方案，在架構、性能、功能、擴展性上都具有明顯的優勢。

3  日志智能分析平臺的設計實現

日志智能分析平臺邏輯架構上分為資源層、數據采集管控層、大數據層、服務層、業務層，如圖1所示。

資源層主要包括各采集對象的網絡設備、安全設備、應用系統、主機系統、數據庫和服務器等。

數據采集管控層主要負責多渠道獲取數據，并支持數據預處理，將采集來的數據分區分塊進行存儲。

大數據層分為數據存儲模塊和數據分析模塊。數據存儲模塊主要負責將采集的數據以索引方式存儲，同時對常用的查詢分析的結果進行緩存。數據分析包括數據分析模塊、數據處理模塊、平臺管理模塊等；數據分析模塊支持對數據進一步的加工處理，并支持結構和非結構化的數據處理、關聯分析查詢、深度學習。服務層可以提供對各類的應用服務，如資產管理、情報處理、工單管理、告警處理、響應管理、任務管理、數據管理等，服務層提供的管理模塊還涵蓋了用戶認證、數據權限控制等內容，保障數據訪問的安全可控。

業務層包括業務功能模塊和數據呈現功能，包括態勢感知、行為分析、風險管理、情報預警等模塊，并提供圖形、表格、報表等不同的展現方式進行組合與鉆取分析。

大數據日志智能分析平臺普遍使用了基于Hadoop的大數據架構，分布式部署的方式以及非關系數據庫技術的應用，滿足了每秒數十萬的日志采集和處理的需求，可以為大規模、超大規模網絡提供高性能的日志采集存儲功能。

ElasticSearch大數據分布式彈性搜索引擎模塊可以實現海量數據秒級的快速在線檢索分析。

通過使用Spark技術，在并發內存內處理機制方面能夠帶來數倍于其他采用磁盤訪問方式的解決方案，借助離線計算引擎在小時級別內，即可完成對PB數量級的數據挖掘。例如：6個月內的安全事件之間的相關性、安全事件之間的影響程度、安全事件之間的規律性等并以報表形式進行輸出。

大數據日志智能分析平臺基于業務場景結合機器學習、基線梳理、關聯分析、威脅情報等多種分析引擎，以實現高效、準確的智能日志分析，可極大地提高安全運維的分析效率與準確性。

4  日志智能分析在運維管理中的應用

4.1  基于攻擊鏈的告警事件定位分析

日志智能分析平臺對安全設備、網絡設備、應用系統、主機系統等進行日志采集和索引分析后，運用多種分析引擎，對日志進行智能的歸并和處理分析，提煉出當前網絡的攻擊事件，使得一線及二線運維人員可以一次性對多臺安全設備、網絡設備、應用系統、主機系統上的日志進行事件查詢分析；使得安全攻擊行為和事件查詢變得簡單高效，這也是目前主流日志分析平臺的主要使用場景。

在上述傳統日志下鉆或多源關聯分析基礎上，為了進一步提升告警分析定位能力，引入了攻擊鏈模型，參照該模型將攻擊分為攻擊和攻陷兩個階段，運維人員可以重點聚焦失陷階段的告警事件，及時止損。

通過日志智能分析平臺的數據存儲層，可以對該事件相關的數據進行記錄，并基于IP、時間、攻擊手法重新構建攻擊的逐步過程，安全分析人員可以清晰地了解和查詢攻擊時間和位置、提權以及安裝特征等，安全分析師可以快速地構建惡意攻擊的概要信息，并通過鏈條式分析將注入路徑銜接起來，識別出第一感染源頭和其他被感染者，或下一步預判，使安全團隊提前發現威脅，能夠快速補救損害，將損失降到最低。使用攻擊鏈分析模型，可以幫助安全運維人員聚焦在對業務影響較大的攻擊事件上，如圖2所示。

(1)攻擊鏈高危攻擊告警。通過告警界面的攻擊鏈視圖發現不同階段的攻擊告警事件，并從中選

擇威脅最大的攻陷階段告警。

(2)分析攻擊源與目標。通過下鉆式分析，鎖定安全事件的攻擊源與攻擊目標。

(3)攻擊手法、時間分析。通過對組成告警事件的原始日志下鉆式分析，確認攻擊手法與時間，為進一步的處置提供技術輸入。

4.2基于網絡流量的異常行為分析

通過采集防火墻或DPI類設備的網絡訪問日志以及NetFlow等方式，借助機器學習的手段，實現對網內網絡流量互聯動態基線的建立，從而發現異常網絡訪問行為，如圖3、圖4所示。

(1)發現防火墻策略配置問題。由于完成了安全域邊界的網絡訪問基線梳理，一旦有防火墻配置不當導致非正常訪問就可以觸發告警。

(2)發現非法外聯。無論是在互聯網還是第三方專網接入邊界，可以通過外聯訪問基線篩選出異常的非法外聯行為。

(3)發現內部流量異常。包括內部的惡意掃描、ARP欺騙攻擊、內部違規訪問等行為。

(4)發現資產變化。通過網絡流量提取的資產信息，發現未報備IT資產，避免出現通過主動掃描發現資產時間窗口過長的問題。

4.3  運維日志管理與行為分析

根據銀行內部安全控制要求，運維人員只能通過審計系統(堡壘機)間接訪問生產服務器，其在生產環境的操作行為和結果以文件形式保存，最終采集到日志智能分析平臺中。基于上述操作行為數據，結合一些配置數據，平臺實現了多維度的操作行為分析和審計：

(1)實現了機構用戶維度的操作行為分析。使得管理層用戶了解各部門用戶的運維習慣(如上午9:00是應用運維部門的訪問高峰，主要是運維人員進行巡檢及處理昨日非緊急問題)，基于時間建立訪問基線，從而發現在非核心時段的可疑登錄、多IP交互登錄、休眠賬號的異常登錄等行為。

(2)實現了應用維度的權限行為分析。通過對應用的實際訪問賬號與實際管理權限的對比，直觀展示不合規訪問情況。

(3)實現了賬號維度的操作行為分析。通過對比實際管理要求，找到非授權用戶使用root類高權限賬號進行生產操作的情況。

(4)實現了命令維度的操作行為分析。例如Top10用戶統計等，對高危險命令的使用合理性進行審查和通報，有效降低了用戶操作風險。

4.4  威脅情報關聯分析

日志智能分析平臺支持外部開源和第三方情報數據，利用威脅情報提高安全運維分析的準確度和時效性。

利用大數據分析平臺將本地數據、資產數據與情報數據按照多個維度進行關聯分析，即可快速感知威脅，通過平臺安全規則的篩選和過濾最終形成漏斗效應，保證威脅告警更加精準和有效。為運維管理人員提供異常的情報分析和威脅情報的預警如圖5所示，其主要場景如下：

(1)實現快速漏洞定位預警。嚴重漏洞爆發時，基于日志智能分析平臺積累的資產信息(主要是資產的版本信息)與漏洞影響的版本進行比對，快速鎖定漏洞影響的資產范圍。

(2)實現日志與信譽庫實時關聯分析。威脅情報提供的惡意IP、URL、C&C、文件信譽庫以及行業與客戶情報標簽與告警日志進行關聯定位，有助于管理員及時發現高危特別是針對金融行業的攻擊行為。

(3)實現基于情報的多維度下鉆式分析。利用威脅情報的內在聯系，實現對可疑信息進一步的深入挖掘分析，以發現更多攻擊者線索，有助于完成攻擊者的行為畫像。

4.5  實現可視化的安全態勢感知

在攻擊鏈分析等多種引擎處理的基礎上，可以針對整體范圍或某一特定時間與環境，基于這樣的條件進行因素理解與分析，最終形成攻擊者的畫像、歷史的整體態勢以及對未來短期的預測，如圖6所示。

將分析結果按照入侵、異常流量、病毒、系統漏洞，網站安全態勢進行多維度可視化呈現，形成各種類型的安全態勢分析趨勢，能夠很好地洞察銀行內部整體安全狀態，并通過量化的評判指標直觀地理解當前態勢情況。

日志智能分析平臺就是基于以上方法論從海量數據中分析統計出目前存在的風險，通過趨勢圖、占比圖、滾動屏等方式清晰展示網絡安全態勢，協助安全分析人員快速聚焦全網高風險點。

5  日志智能分析的實踐

5.1  威脅情報定位惡意攻擊IP

威脅情報系統會定期下發IP、URL、僵尸網絡的情報信息，日志智能分析平臺會與這些活躍數據進行關聯匹配。

日志智能分析平臺捕獲到89.45.10.18的IP正在進行攻擊，該IP是最近正在活躍的一個羅馬尼亞惡意IP，與日志智能分析平臺的事件成功匹配，意味著這個事件威脅可信度較高。

此外，點擊此事件對此IP進行溯源，能夠查看歷史行為，可以看到情報監控到它是Botnet客戶端，說明很可能是黑客利用該IP作為跳板在對該用戶本地資產進行攻擊。

5.2  通過流量日志的行為互訪統計發現掃描

在某客戶內部網絡中一臺惡意主機掃描網絡主機的所有端口，進行系統掃描，會觸發日志分析平臺的流量行為分析視圖出現如下特征（如圖7所示），基于該特征運維管理員就能快速定位惡意主機。

5.3  基于攻擊鏈模型發現失陷主機

基于可視化的攻擊鏈呈現，使運維管理人員可以直觀、快速地定位到被黑客攻陷的IT系統，并支持下鉆分析。

通過該視圖查看主機192.168.x.x的攻擊詳情，發現該主機相關的事件為木馬事件，連接的可疑IP是兩個DNS服務器(8.8.8.8/208.67.y.y)，并且對公網其他IP進行了攻擊。

繼續下鉆查看對應的木馬事件日志詳情，發現該主機請求的域名為暗云木馬對應的域名，從而確定失陷主機為目前流行的暗云木馬所控制。

6  結論

基于大數據分析架構的日志智能分析平臺，相對于傳統的日志分析技術，技術復雜度和學習處理能力更為先進。能夠提供更為快速的處理分析和展現，適用于當下大數據的存儲與分析應用，能夠幫助銀行業在關鍵業務系統及內部系統實現全面的智能關聯分析，提高運維人員在IT運維管理過程中的工作效率及安全態勢的感知能力。 

（收稿日期：2018-06-20）

作者簡介：

孫惟皓（1979-），男，本科，高級副總裁，信息安全治理體系與風險管理。

凌宗南（1981-），男，本科，信息安全顧問，大數據日志管理分析。

陳煒忻（1973-），男，本科，高級安全咨詢顧問，安全運營支撐平臺建設。