IT運維分析與海量日志搜索

1、Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司提綱IT 運維分析（IT Operation Analytics）日志的應(yīng)用場景過去及現(xiàn)在的做法日志搜索引擎日志易產(chǎn)品介紹Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司IT 運維分析 從 IT Operation Management (ITOM) 到 IT Operation Analytics (ITOA) 大數(shù)據(jù)技術(shù)應(yīng)用于IT運維，通過數(shù)據(jù)分析提升IT運維效率 可用性監(jiān)控 應(yīng)用性能監(jiān)控 故障根源分析 安全審計 Gartner估計，到2017年15%的大企業(yè)會積極使用ITOA；而在2014年這一數(shù)字只有5%Copyright

2、 2015 北京優(yōu)特捷信息技術(shù)有限公司ITOA 的四種數(shù)據(jù)來源 機器數(shù)據(jù)（Machine Data） 日志 通信數(shù)據(jù)（Wire Data） 網(wǎng)絡(luò)抓包，流量分析 代理數(shù)據(jù)（Agent Data） 在 .NET/Java 字節(jié)碼里插入代碼，統(tǒng)計函數(shù)調(diào)用、堆棧使用 探針數(shù)據(jù)（Probe Data） 在各地模擬ICMP ping、HTTP GET請求，對系統(tǒng)進(jìn)行檢測Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司ITOA 四種數(shù)據(jù)來源使用占比86%93%47%72%0%10%20%30%40%50%60%70%80%90%100%machine data（日志） wire data（網(wǎng)絡(luò)抓包）

3、agent data（插入代碼）probe data（模擬檢測）Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司ITOA 四種數(shù)據(jù)來源的比較 機器數(shù)據(jù)（日志） 日志無所不在 但不同應(yīng)用輸出的日志內(nèi)容的完整性、可用性不同 通信數(shù)據(jù)（網(wǎng)絡(luò)抓包） 網(wǎng)絡(luò)流量信息全面 但一些事件未必觸發(fā)網(wǎng)絡(luò)流量 代理數(shù)據(jù)（嵌入代碼） 代碼級精細(xì)監(jiān)控 但侵入性，會帶來安全、穩(wěn)定、性能問題 探針數(shù)據(jù)（模擬用戶請求） 端到端監(jiān)控 但不是真實用戶度量（Real User Measurement）Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志，我們重要的數(shù)據(jù)資產(chǎn)行為日志網(wǎng)絡(luò)日志交易日志應(yīng)用及系統(tǒng)日志IT系統(tǒng)

4、（服務(wù)器、網(wǎng)絡(luò)設(shè)備）每天都產(chǎn)生大量的日志，包含了各種設(shè)備、系統(tǒng)、應(yīng)用、用戶信息Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志：時間序列機器數(shù)據(jù) 帶時間戳的機器數(shù)據(jù) IT 系統(tǒng)信息 服務(wù)器 網(wǎng)絡(luò)設(shè)備 操作系統(tǒng) 應(yīng)用軟件 用戶信息 用戶行為 業(yè)務(wù)信息 日志反映的是事實數(shù)據(jù) “The Log: What every software engineer should know about real-time datas unifying abstraction”, Jay Kreps, LinkedIn engineer 深度解析LinkedIn大數(shù)據(jù)平臺（http:/ 2015 北京優(yōu)

5、特捷信息技術(shù)有限公司一條 Apache Access 日志43 - - 15/Apr/2015:00:27:19 +0800 “POST /report HTTP/1.1” 200 21 “https:/ “Mozilla/5.0 (Windows NT 6.1; WOW64; rv:37.0) Gecko/20100101 Firefox/37.0” “74” 0.005 0.001字段：- Client IP: 43- Timestamp: 15/Apr/2015:00:27:19 +0800- Method: POS

6、T- URI: /report- Version: HTTP/1.1- Status: 200- Bytes: 21- Referrer: https:/ User Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:37.0) Gecko/20100101 Firefox/37.0- X-Forward: 74- Request_time: 0.005- Upstream_request_time:0.001Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志的應(yīng)用場景 運維監(jiān)控 可用性監(jiān)控 應(yīng)用性能監(jiān)控 (APM) 安全審

7、計 安全信息事件管理 (SIEM) 合規(guī)審計 發(fā)現(xiàn)高級持續(xù)威脅 (APT) 用戶及業(yè)務(wù)統(tǒng)計分析Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司過去 日志沒有集中處理 登陸每一臺服務(wù)器，使用腳本命令或程序查看 日志被刪除 磁盤滿了刪日志 黑客刪除日志，抹除入侵痕跡 日志只做事后追查 沒有實時監(jiān)控、分析 使用數(shù)據(jù)庫存儲日志 無法適應(yīng)TB級海量日志 數(shù)據(jù)庫的schema無法適應(yīng)千變?nèi)f化的日志格式 無法提供全文檢索Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司近年 Hadoop 批處理，不夠及時 查詢慢 數(shù)據(jù)離線挖掘，無法做 OLAP (On Line Analytic Proces

8、sing) Storm/Spark Hadoop/Storm/Spark都只是一個開發(fā)框架，不是拿來即用的產(chǎn)品 NoSQL 不支持全文檢索Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司現(xiàn)在 對日志實時搜索、分析 日志實時搜索分析引擎 快 日志從產(chǎn)生到搜索分析出結(jié)果只有幾秒的延時 大 每天處理 TB 級的日志量 靈活 Google for IT， 可搜索、分析任何日志 Fast Big DataCopyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志3.0：實時搜索引擎 需要開發(fā)成本 批處理，實時性差 不支持全文檢索 固定的schema無法適應(yīng) 任意日志格式 無法處理大數(shù)據(jù)量日志2

9、.0：Hadoop 或 NoSQL日志1.0：數(shù)據(jù)庫日志管理系統(tǒng)的進(jìn)化 實時 靈活 全文檢索Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志易亮點 可編程的日志實時搜索分析平臺 搜索處理語言 （Search Processing Language, SPL） SPL命令用管道符（“|”）串接成腳本程序 在搜索框里寫 SPL 腳本，完成復(fù)雜的查詢、分析 可接入各種來源的數(shù)據(jù) 日志文件 數(shù)據(jù)庫 恒生電子交易系統(tǒng)二進(jìn)制日志 企業(yè)部署版 SaaS 版 每天500MB日志處理免費Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司Schema on Write vs. Schema on

10、 Read Schema on Write 索引時（入庫前）抽取字段，對日志做結(jié)構(gòu)化 檢索速度快 但不夠靈活，必須預(yù)先知道日志格式 Schema on Read 檢索時（入庫后）抽取字段，對日志結(jié)構(gòu)化 靈活，檢索時根據(jù)需要抽取字段 但檢索速度受影響 日志易同時支持 Schema on Write 和 Schema on Read 日志易實現(xiàn)機制 由用戶選擇需要的策略Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志易功能 搜索 告警 統(tǒng)計 事務(wù)關(guān)聯(lián) 配置解析規(guī)則，識別任何日志 把日志從非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù) 安全攻擊自動識別 開放API，對接第三方系統(tǒng) 高性能、可擴展分布式架構(gòu)

11、 索引性能：100萬 EPS (Event Per Second)，20TB/天 檢索性能：60秒內(nèi)檢索1000億條日志Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司 日志易分析事件優(yōu)勢完備的全量日志管理日志分析的關(guān)鍵在于其完備性。日志易能夠完整保存長周期、大容量的日志數(shù)據(jù)，為后期的分析提供了基礎(chǔ)細(xì)粒度的數(shù)據(jù)分析日志的格式、內(nèi)容五花八門，對其分析的方式方法更是如此。日志易提供了靈活、高效的數(shù)據(jù)分析語句，能夠幫助用戶從容的進(jìn)行細(xì)粒度的數(shù)據(jù)分析 秒級回饋分析人員的任何一個想法、一個線索、一個疑點，都可以在幾十甚至幾秒的時間內(nèi)得到驗證，極大的提高了數(shù)據(jù)分析的效率可視化統(tǒng)計分析人員通過幾下鼠

12、標(biāo)點擊，即可快速完成諸如計數(shù)、時間段、數(shù)值分布、百分比、多級匯總、地理分布等統(tǒng)計操作，并通過最適合的圖表進(jìn)行呈現(xiàn)Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司客戶案例：某大型綜合金融機構(gòu) 使用日志易之前 逐臺登陸服務(wù)器，無法集中查看日志，無法對海量數(shù)據(jù)進(jìn)行挖掘、用戶行為分析 日志查詢方式比較原始，只能 less、grep 和 awk 等常見的 Linux 指令，無法多維度查詢（時間段、關(guān)鍵字、字段值） 無法進(jìn)行日志的業(yè)務(wù)邏輯分析和告警 使用日志易之后，接入160多個應(yīng)用的日志，10TB/天 省去登陸服務(wù)器的操作，快速，降低人為登陸服務(wù)器誤操作引發(fā)生產(chǎn)故障 查詢條件多維度，提升定位異常

13、原因的效率 可以對日志數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘、用戶行為分析并產(chǎn)生相應(yīng)的報表，同時還可以針對應(yīng)用系統(tǒng)健康指數(shù)提前告警，而不是事后補漏Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司客戶案例：中移動某省分公司 使用場景和解決的問題 分析營業(yè)廳業(yè)務(wù)辦理日志 聚合出每個營業(yè)員每項業(yè)務(wù)的詳細(xì)操作步驟，對每個步驟操作時長進(jìn)行告警、統(tǒng)計分析 Search Processing Language 范例json.url:“/charge/business.action?BMEBusiness=charge.charge&_cntRecTimeFlag=true”|transactionapache.dimen

14、sions.cookie_CURRENT_MENUIDstartswith=eval(json.action:“查詢”×tamp30m)endswith=json.action:提交1.先通過url過濾出所有繳費業(yè)務(wù)日志2.通過menuid進(jìn)行分組聚合3.將“查詢”動作作為步驟起點4.默認(rèn)30分鐘內(nèi)營業(yè)員處理完一筆完整業(yè)務(wù)5.將“提交”動作作為步驟結(jié)束Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司客戶案例：中移動某省分公司一筆繳費業(yè)務(wù)營業(yè)員所有操作步驟一目了然每個步驟所需要的執(zhí)行時間按步驟順序排列網(wǎng)絡(luò)處理時間，服務(wù)器處理時間按步驟順序排列Copyright 2015 北京優(yōu)

15、特捷信息技術(shù)有限公司客戶案例：國家電網(wǎng) 安全信息與事件管理 終端信息安全事件日志的調(diào)查、分析、取證 在各省分公司信息安全事件現(xiàn)場使用 快速排查事件日志保留的證據(jù)，為事件取證提供支持Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司客戶Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志易介紹：總覽Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志易介紹：日志結(jié)構(gòu)化Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志易介紹：字段抽取、統(tǒng)計Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志易介紹：搜索Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志易介紹：統(tǒng)計Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志易介紹：告警Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志易介紹：儀表盤Copyright