當(dāng)前全球網(wǎng)絡(luò)空間安全威脅日益嚴(yán)峻，網(wǎng)絡(luò)攻擊威脅和網(wǎng)絡(luò)犯罪呈現(xiàn)組織化和產(chǎn)業(yè)化的趨勢(shì)。傳統(tǒng)的防御手段IDS（入侵檢測(cè)系統(tǒng)）存在很多的不足，應(yīng)對(duì)多態(tài)惡意代碼、APT攻擊、0-day攻擊時(shí)都束手無策。攻擊只為成功一次，防御則要成功每一天，因此防御方責(zé)任更大，形勢(shì)更為嚴(yán)峻。正當(dāng)人們?yōu)楝F(xiàn)有安全防御無力痛心的時(shí)候，大數(shù)據(jù)技術(shù)安全分析蓬勃發(fā)展，一系列核心技術(shù)與平臺(tái)架構(gòu)日趨成熟，如同發(fā)現(xiàn)了新的美洲大陸，安全界不約而同將目光轉(zhuǎn)向了大數(shù)據(jù)技術(shù)在安全分析中的應(yīng)用。
1、大數(shù)據(jù)安全分析的優(yōu)勢(shì)
大數(shù)據(jù)安全分析的目標(biāo)是實(shí)時(shí)獲得可行動(dòng)的情報(bào)，可以被用來促進(jìn)信息安全和態(tài)勢(shì)感知，大數(shù)據(jù)技術(shù)具備以下三個(gè)優(yōu)勢(shì)：
首先，可以海量數(shù)據(jù)存儲(chǔ)
隨著信息化與網(wǎng)絡(luò)安全建設(shè)的發(fā)展，企業(yè)的信息系統(tǒng)、安全設(shè)備越來越多，所產(chǎn)生的告警、日志等安全數(shù)據(jù)也呈爆發(fā)式增長，傳統(tǒng)關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)處理效率在3000EPS左右，而大數(shù)據(jù)分布式架構(gòu)下可以將每秒數(shù)據(jù)處理效率提高15倍以上。同時(shí)可以通過靈活擴(kuò)展，解決海量數(shù)據(jù)存儲(chǔ)擴(kuò)容成本高的問題。
其次，可以提高查詢速度
數(shù)據(jù)查詢的范圍，是以數(shù)據(jù)存儲(chǔ)能力為前提的，而實(shí)時(shí)的計(jì)算能力則是數(shù)據(jù)可以任意查詢的基礎(chǔ)保障。傳統(tǒng)關(guān)系型數(shù)據(jù)庫查詢1TB、時(shí)間跨度為6個(gè)月的數(shù)據(jù)，可能需要以小時(shí)為單位計(jì)算，而大數(shù)據(jù)分布式架構(gòu)下能夠達(dá)到秒級(jí)響應(yīng)。
最后，可以降低開發(fā)成本
在大數(shù)據(jù)分布式架構(gòu)下，數(shù)據(jù)是可以任意查詢、檢索與計(jì)算的，增加了功能但不需要改變數(shù)據(jù)結(jié)構(gòu)。這樣不但降低了開發(fā)的成本，還縮短了開發(fā)的周期。
2、大數(shù)據(jù)安全分析相關(guān)技術(shù)
網(wǎng)絡(luò)空間安全是信息通信技術(shù)和計(jì)算機(jī)技術(shù)融合衍生出的新興學(xué)科。而大數(shù)據(jù)安全是網(wǎng)絡(luò)空間安全下屬的子學(xué)科，融合了數(shù)據(jù)庫，機(jī)器學(xué)習(xí)，信息安全等多項(xiàng)技術(shù)。從計(jì)算機(jī)網(wǎng)絡(luò)頂會(huì)NSDI會(huì)議的關(guān)鍵詞統(tǒng)計(jì)圖中，我們可以看到分布式系統(tǒng)，網(wǎng)絡(luò)安全，數(shù)據(jù)中心，大數(shù)據(jù)成為了會(huì)議的主流選題。這表明了兩個(gè)重要的趨勢(shì)，一是網(wǎng)絡(luò)安全的持續(xù)升溫，另一個(gè)是機(jī)器學(xué)習(xí)的應(yīng)用逐漸興起。所以，大數(shù)據(jù)+AI+安全衍生的大數(shù)據(jù)安全分析必定會(huì)成為未來的熱點(diǎn)。
數(shù)據(jù)采集與解析技術(shù)
利用日志采集器實(shí)時(shí)以非格式化或半格式化采集原始數(shù)據(jù)，根據(jù)配置的解析規(guī)則和字段補(bǔ)全規(guī)則，完成數(shù)據(jù)的解析與數(shù)據(jù)補(bǔ)全。最終將解析的數(shù)據(jù)存入大數(shù)據(jù)存儲(chǔ)中，以便后續(xù)進(jìn)行實(shí)時(shí)或長周期的展示和統(tǒng)計(jì)分析。
大數(shù)據(jù)存儲(chǔ)與處理技術(shù)
大數(shù)據(jù)平臺(tái)計(jì)算處理能力達(dá)到日存儲(chǔ)數(shù)據(jù)超過1T，支持千億條數(shù)據(jù)的秒級(jí)處理，PB級(jí)數(shù)據(jù)管理與應(yīng)用，保證高吞吐量與高數(shù)據(jù)壓縮率，為安全智能分析提供實(shí)時(shí)或者長期的關(guān)聯(lián)分析數(shù)據(jù)基礎(chǔ)。
關(guān)聯(lián)分析
通過關(guān)聯(lián)分析引擎對(duì)采集的實(shí)時(shí)數(shù)據(jù)流進(jìn)行深度關(guān)聯(lián)分析，包括安全告警、系統(tǒng)日志、資產(chǎn)、網(wǎng)絡(luò)、漏洞等信息之間用基于規(guī)則、基于統(tǒng)計(jì)、基于資產(chǎn)、基于情報(bào)等深度關(guān)聯(lián)分析方法，綜合分析進(jìn)行安全威脅檢測(cè)、預(yù)警。
機(jī)器學(xué)習(xí)
通過機(jī)器學(xué)習(xí)和算法對(duì)大量的歷史信息和安全信息的關(guān)聯(lián)，以無監(jiān)督學(xué)習(xí)（異常檢測(cè)）為主，并有人工輔助的半監(jiān)督學(xué)習(xí)（專家、管理人員反饋），對(duì)威脅行為進(jìn)行一個(gè)長周期的分析，找出安全威脅與攻擊的異常行為和隱藏的威脅行為。
3、大數(shù)據(jù)分析技術(shù)架構(gòu)
大數(shù)據(jù)安全分析總體技術(shù)架構(gòu)由數(shù)據(jù)采集、預(yù)處理、存儲(chǔ)、處理、分析計(jì)算、數(shù)據(jù)應(yīng)用展示幾部分組成，具體詳見下圖：
數(shù)據(jù)源
數(shù)據(jù)源是大數(shù)據(jù)分析的基礎(chǔ)與前提，準(zhǔn)確高質(zhì)量的多源異構(gòu)數(shù)據(jù)是安全分析效果的保證，進(jìn)行安全分析需要收集的數(shù)據(jù)源包括：
-
日志數(shù)據(jù)：包括設(shè)備與系統(tǒng)的日志和安全告警信息。
-
流量數(shù)據(jù)：網(wǎng)絡(luò)流量數(shù)據(jù)，包括Netflow數(shù)據(jù)和全流量鏡像數(shù)據(jù)。
支持?jǐn)?shù)據(jù)：包括資產(chǎn)信息、賬號(hào)信息、漏洞信息和威脅情報(bào)信息等
采集和預(yù)處理
對(duì)數(shù)據(jù)源收集的信息進(jìn)行解析、標(biāo)準(zhǔn)化和豐富化處理，從而為數(shù)據(jù)分析提供高質(zhì)量的數(shù)據(jù)。
數(shù)據(jù)存儲(chǔ)
全量存儲(chǔ)網(wǎng)絡(luò)中原始的網(wǎng)絡(luò)數(shù)據(jù)，使數(shù)據(jù)結(jié)果分析更加全面可信。對(duì)所有網(wǎng)絡(luò)行為數(shù)據(jù)建立索引，便于快速查詢、管理分析和舉證。
數(shù)據(jù)分析
利用關(guān)聯(lián)分析、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)，從海量原始數(shù)據(jù)中自動(dòng)挖掘出有價(jià)值的信息，最大的發(fā)揮數(shù)據(jù)的價(jià)值。
數(shù)據(jù)應(yīng)用
依據(jù)數(shù)據(jù)分析結(jié)果，實(shí)現(xiàn)安全態(tài)勢(shì)感知、安全預(yù)警、追蹤溯源等應(yīng)用。
4、大數(shù)據(jù)安全分析平臺(tái)具有的功能
發(fā)現(xiàn)異常行為
預(yù)定義分析場(chǎng)景與規(guī)則，支持界面定制，內(nèi)置時(shí)間序列、基線等多種異常檢測(cè)算法；對(duì)大量的歷史日志與安全信息進(jìn)行機(jī)器學(xué)習(xí)與算法分析來偵測(cè)出異常行為模式和隱藏的威脅，無論是外部APT攻擊，還是內(nèi)部人員泄密。
日志與網(wǎng)絡(luò)流量分析
多種日志格式和網(wǎng)絡(luò)流量深度分析。
實(shí)時(shí)檢索與溯源
對(duì)所有存儲(chǔ)的海量信息進(jìn)行索引，提供類似互聯(lián)網(wǎng)搜索引擎的根據(jù)任意關(guān)鍵字定位到所有相關(guān)信息的能力；對(duì)威脅事件進(jìn)行場(chǎng)景化展現(xiàn)并提供攻擊鏈分析和文件還原，把溯源周期縮減到小時(shí)。
原始記錄取證
利用分布式文件系統(tǒng)實(shí)現(xiàn)對(duì)海量安全基礎(chǔ)信息的長期存儲(chǔ)，可隨時(shí)調(diào)取。
安全態(tài)勢(shì)展現(xiàn)
結(jié)合大數(shù)據(jù)分析技術(shù)和數(shù)據(jù)可視化技術(shù)，可以通過不同維度展現(xiàn)局內(nèi)整體安全態(tài)勢(shì)。
大數(shù)據(jù)技術(shù)已逐漸深入到許多網(wǎng)絡(luò)空間安全問題的處理和解決方案中，改變了網(wǎng)絡(luò)空間安全與情報(bào)分析的研究格局，提高了高級(jí)網(wǎng)絡(luò)攻擊檢測(cè)、信息安全風(fēng)險(xiǎn)感知與威脅情報(bào)分析處理等網(wǎng)絡(luò)安全防御技術(shù)水平。我們相信，大數(shù)據(jù)安全分析技術(shù)在未來一定會(huì)給網(wǎng)絡(luò)安全領(lǐng)域帶來實(shí)質(zhì)性的改變，不再出現(xiàn)網(wǎng)絡(luò)攻擊和防御的不對(duì)等的地位，防御手段更加智能，真正做到主動(dòng)防御。