云運維的整體理念與實踐VIP

云運維的整體理念與實踐

什么是運維？非運維人員眼中的運維工作非運維人眼中的運維運維人員眼中的運維工作運維人眼中的運維運維價值化運維不是某種職能運維也不是某種角色運維是通過一系列的規(guī)范化、工具平臺化、數(shù)據(jù)驅跨部門合作等手段，從而確保用戶價值的持續(xù)獲得。運維價值化如今，我們的工作和生活都離不開數(shù)字化，無論是內(nèi)聯(lián)網(wǎng)、互聯(lián)網(wǎng)還是物聯(lián)網(wǎng)，都通過云計算、大數(shù)據(jù)、智能終端為我們提供各種服務。在數(shù)字化社會中，我們既提供內(nèi)容，又消費內(nèi)容，信息以前所未有的速度傳播，應用不斷地滲透到每個角落，每個人都無法離開。運維管理-作為數(shù)字化背后的支撐力量，普通民眾可能不太清楚，但近年來運維的作用不斷凸顯，受到業(yè)內(nèi)諸多人員的關注，正式高效、可靠、敏捷的運維，支撐數(shù)字化有條不紊的運轉，讓企業(yè)單位贏得數(shù)字化時代的成功。隨著“互聯(lián)網(wǎng)+”戰(zhàn)略的深入，運維正在進入到下一個時代，將面臨更加寬泛的領域、更加靈活的場景，根據(jù)廣通軟件研究院的分析，未來的運維管理將進一步融合互聯(lián)網(wǎng)思維，側重敏捷化管理，在數(shù)據(jù)中心、云上應用、物聯(lián)網(wǎng)三個領域進行發(fā)展，并最終實現(xiàn)一體化、智能化的敏捷運維。云運維的背景挑戰(zhàn)更少的設備維護需求更快的部署速度更大的承載能力更好的故障處理能力運維工作面臨的挑戰(zhàn)運維提升的階段開發(fā)，運維的三大鴻溝DevOpsDevOps的核心，就是Dev用D的能力延伸到Ops，而Ops則把O的能力傳遞到Dev，兩者相結合結合突出重視軟件開發(fā)人員和運維人員的溝通合作，通過自動化流程來使得軟件構建、測試、發(fā)布更加快捷、頻繁和可靠。大大減少數(shù)據(jù)中心在運維方面人力的投入節(jié)省運維費用支出實現(xiàn)業(yè)務的快速自動部署減少數(shù)據(jù)中心故障中斷時間即使在數(shù)據(jù)中心規(guī)模不斷擴大的情況下，使用敏捷運維的工具就可以完成自動化部署，不再需要增加運維人員，只不過在運維工具監(jiān)控之中增加一些點而已提升數(shù)據(jù)中心的運營能力數(shù)據(jù)中心擴容在手指間就可以輕松完成，運維人員不再需要關心基礎架構的實現(xiàn)，只需要在敏捷軟件上做業(yè)務部署即可，底層資源調(diào)配，網(wǎng)絡配置等均通過軟件實現(xiàn)自動下發(fā)，自動互聯(lián)互通;甚至可以做到全年無中斷，敏捷軟件能夠在毫秒級的時間內(nèi)發(fā)現(xiàn)異常，并自動執(zhí)行切換動作，將業(yè)務轉移到備用系統(tǒng)中，確保業(yè)務不受影響，敏捷軟件還可以對故障進行自愈，嘗試對故障進行隔離，為人員搶修故障設備贏得時間DevOps的優(yōu)勢Puppet公布的2016年DevOps調(diào)查報告中，根據(jù)全球4600位各IT公司的技術工作者的提交數(shù)據(jù)統(tǒng)計，得出高效公司可以完成平均每年1460次部署。與低效組織相比，高效組織的部署頻繁200倍，產(chǎn)品投入使用速度快2555倍，服務恢復速度快24倍。在工作內(nèi)容的時間分配上，低效者要多花22%的時間用在為規(guī)劃好或者重復工作上，而高效者卻可以多花29%的時間用在新的工作上。敏捷運維的概念來自于兩個截然不同的技術陣營：一方面是敏捷開發(fā)者發(fā)現(xiàn)，雖然產(chǎn)品被很快設計出來，但部署卻比較花費時間，手動部署和配置也會引入很多人為錯誤。此時，敏捷開發(fā)團隊希望可以自動完成所有重復性的任務，當然也包括部署在內(nèi)。另一方面來自于一些互聯(lián)網(wǎng)公司，這些公司業(yè)務增長飛快，有時會在兩個星期內(nèi)就要增加上千臺服務器，單純?nèi)斯さ姆绞酵瓿桑馁M了大量人力，運維成本太高，這時他們想到了敏捷設計，希望將敏捷設計應用到運維當中，實現(xiàn)敏捷運維。敏捷運維與傳統(tǒng)的人工運維管理完全不同，敏捷運維完全自律，按照設定好的程序去執(zhí)行，確保所有一切內(nèi)容都在控制之內(nèi)，敏捷運維引入了自動化的東西，拋棄了手動操作。敏捷運維的概念DevOps的各種工具代碼管理（SCM）：GitHub、GitLab、BitBucket、SubVersion構建工具：Ant、Gradle、maven自動部署：Capistrano、CodeDeploy持續(xù)集成（CI）：Bamboo、Hudson、Jenkins配置管理：Ansible、Chef、Puppet、SaltStack、ScriptRockGuardRail容器：Docker、LXC、第三方廠商如AWS編排：Kubernetes、Core、ApacheMesos、DC/OS服務注冊與發(fā)現(xiàn)：Zookeeper、etcd、Consul腳本語言：python、ruby、shell日志管理：ELK、Logentries系統(tǒng)監(jiān)控：Datadog、Graphite、Icinga、Nagios性能監(jiān)控：AppDynamics、NewRelic、Splunk壓力測試：JMeter、BlazeMeter、loader.io報警：PagerDuty、pingdom、廠商自帶如AWSSNSHTTP加速器：Varnish消息總線：ActiveMQ、SQS應用服務器：Tomcat、JBoss、IISWeb服務器：Apache、Nginx數(shù)據(jù)庫：MySQL、PostgreSQL等關系型數(shù)據(jù)庫；cassandra、mongoDB、redis等NoSQL數(shù)據(jù)庫項目管理（PM）：Jira、Asana、Taiga、Trello、Basecamp、PivotalTracker敏捷運維試圖將人們從復雜、繁重的工作中解決出來，通過軟件自動化管理，滿足數(shù)據(jù)中心的擴容要求，于是出現(xiàn)了很多敏捷運維的工具。很多人以為只要使用這些工具就是敏捷運維了，實際不是這樣的。就像我們擁有了電腦，會使用電腦，但不一定會用電腦完成各種編程，輸出很多的功能軟件。電腦只是一個工具，我們需要通過給電腦一些指令，才能按照我們的意圖完成。在敏捷運維中，軟件工具就是這樣的角色，必須要我們給予它各種處理業(yè)務的能力，它才能自動完成，只要我們設計好了未來數(shù)據(jù)中心故障、擴容、業(yè)務變更遇到的場景，賦予工具自動操作的權利，那么工具就會按照我們設計的程序去自動執(zhí)行。為工具制定各種各樣的自動執(zhí)行腳本，是敏捷運維的關鍵，這些腳本關系到敏捷運維的可用性。尤其是在突發(fā)事件的處理上，大規(guī)模業(yè)務擴容上的表現(xiàn)。敏捷運維的定義短的反饋周期敏捷原則簡單勇氣透明承擔責任溝通反應對技術優(yōu)勢持續(xù)關注敏捷原則：完全自動化的系統(tǒng)構建（并非只是啟動服務器，而是重新構建一切）通過版本控制系統(tǒng)進行配置管理對監(jiān)控和統(tǒng)計數(shù)據(jù)的廣泛訪問自愿的“壞了就換”機制優(yōu)先使用從系統(tǒng)中自動抽取文檔針對硬件隨需而變的態(tài)度添加或者替換服務器并不是大事件敏捷運維聽起來很美好。只要嵌入你的代碼，確保它在服務器上構建，然后更新一個方法，就可以按照你的思路去完成自動運維這個說起來容易，實際做起來很難?，F(xiàn)有的軟件定義數(shù)據(jù)中心仍處于發(fā)展的初級階段，還沒有這樣一種軟件，可以對整個數(shù)據(jù)中心設備很好地以控制軟件實現(xiàn)，因為數(shù)據(jù)中心里設備千差萬別，相同設備軟件版本不同，實現(xiàn)也會有差異，這樣從軟件上很難統(tǒng)一管理。即便可以管理，那么什么時候執(zhí)行什么樣的指令，敏捷軟件工具自己不會去考慮，依然是由你來完成，這樣就需要將所有可能出現(xiàn)的場景，業(yè)務的走向部署都需要考慮到，并通過軟件腳本實現(xiàn)，設計得越充分，敏捷軟件工具功能就越強大，當然如果依然出現(xiàn)了未知情況，敏捷運維也會失效。但是DevOps面臨的問題運維團隊

大數(shù)據(jù)BC-HadoopBC-HugetableBC-RDB…………..IT支撐咪咕統(tǒng)一信息平臺網(wǎng)絡性能管理能力開放平臺…………..云計算BC-ECBC-EBSBC-Onest…………..蘇研的主要產(chǎn)品分三類，分別有大數(shù)據(jù)，云計算，IT支撐。產(chǎn)品種類繁多，規(guī)模大，項目數(shù)量多，運維團隊面臨巨大挑戰(zhàn)DevOps能力融合的4大核心實踐OpsDev實踐2：將開發(fā)嵌入到IT運維中（應用端到端的管理）實踐3：向開發(fā)中加入生產(chǎn)反饋（可視化監(jiān)控和運維）實踐1：將開發(fā)延伸至生產(chǎn)中（持續(xù)集成和交付）實踐4：將It運維嵌入至開發(fā)（運維分析）實踐1：持續(xù)集成和交付持續(xù)編譯持續(xù)代碼檢查持續(xù)測試持續(xù)部署持續(xù)報告持續(xù)集成體系建設1制定基本構建流程2加強代碼自動驗證環(huán)節(jié)3加強單元測試環(huán)節(jié)4加強自動化測試環(huán)節(jié)5加強自動部署環(huán)節(jié)實踐1：持續(xù)集成和交付持續(xù)集成的重要要素：1.統(tǒng)一的代碼庫。2.CI服務器3.自動化測試和構建的腳本4.Slaves解決方案：Jenkins+Git實踐1：持續(xù)部署的運維目標1、運維角色完全撤出部署事務，變成審核者。2、平臺必須由研發(fā)+測試+運維共同建設、運維最好主導。3、運維角色轉變的第一步。實踐1：持續(xù)部署的業(yè)務目標實踐1：快速部署-Docker技術容器并不包含一個單獨的操作系統(tǒng)，而是基于已有的基礎設施中操作系統(tǒng)提供的功能來運行的。將應用程序及所有程序的依賴環(huán)境打包到一個容器中，容器可以運行在任何一種Linux服務器上。這大大地提高了程序運行的靈活性和可移植性。虛擬機是操作系統(tǒng)級別的資源隔離，容器本質上是進程級的資源隔離容器技術實現(xiàn)發(fā)展最快和最有代表的是開源Docker技術。Docker是PaaS提供商dotCloud（后改名為DockerInc）

開源的一個基于LXC的高級容器引擎，源代碼托管在Github上,遵從Apache2.0協(xié)議開源。Docker核心在于實現(xiàn)應用與運行環(huán)境整體打包以及打包格式統(tǒng)一VirtualMachineDocker實踐1：持續(xù)部署-基于容器技術服務器操作系統(tǒng)應用IT基礎架構發(fā)展階段1：裸機時代基礎架構利用率低每臺服務器上運行一個應用程序：避免一個應用程序中的漏洞影響同一服務器上其他應用程序典型的x86

服務器部署平均達到的利用率僅為總容量的10%

到15%（美國國際數(shù)據(jù)集團(International

Data

Corporation,

IDC)

報告）物理基礎架構成本日益升高為支持不斷增長的物理基礎架構而需要的運營、維護成本穩(wěn)步攀升。大多數(shù)計算基礎架構都必須時刻保持運行，因此耗電量、制冷和設施成本不隨利用率水平而變化。管理成本不斷攀升服務器數(shù)量太多難以管理，新服務器和應用的部署時間長，硬件維護需要數(shù)天/周的變更管理準備和數(shù)小時的維護窗口。

故障切換和災備困難：兼容性差。系統(tǒng)和應用遷移到新的硬件需要和舊系統(tǒng)兼容的硬件系統(tǒng)。服務器操作系統(tǒng)應用操作系統(tǒng)虛擬機操作系統(tǒng)應用虛擬機操作系統(tǒng)應用虛擬機云平臺服務器操作系統(tǒng)IT基礎架構發(fā)展階段2：虛擬化時代以虛擬化技術為基礎，以虛擬機為單位，將資源提供給用戶。提高資源利用率將一臺高性能的服務器虛擬成多個虛擬機，在物理上虛擬機共享宿主服務器的硬件資源，而邏輯上各自獨立，可在各虛擬出的服務器上運行不同的應用，各司其職，互不干擾。降低管理、運維成本簡化服務器的部署、管理和維護工作，降低管理費用通過從物理基礎架構抽象應用使數(shù)據(jù)中心資源管理和調(diào)度更敏捷，是對傳統(tǒng)數(shù)據(jù)中心資源管理模式的變革核心技術計算虛擬化、SDN、OpenStack管理代表公司亞馬遜aws、VMware、微軟azure、阿里云、華為等服務器應用操作系統(tǒng)應用應用服務器操作系統(tǒng)資源統(tǒng)一管理、調(diào)度IT基礎架構發(fā)展階段3：以應用為中心時代以分布式應用為核心場景，主打應用生命周期管理。保證應用程序和服務易發(fā)布、易擴展，始終能獲得所需要的資源。問題虛擬機構成的集群仍然難以運維，對于每個虛擬機的維護也并非容易，用戶遇到的問題和直接維護物理機集群基本相似用戶需求應用能夠獲取資源，快速啟動，服務可以無限擴展（不在乎怎樣運行及運行在哪），服務失敗時能被自動檢測并修復，應用易于遷移。數(shù)據(jù)中心操作系統(tǒng)：Datacenter

Operating

System（DCOS）目標整合數(shù)據(jù)中心資源，進行虛擬池化，開放諸如CPU、內(nèi)存和I/O這些基本資源而不是虛擬機。就像操作系統(tǒng)將PC的處理器和RAM放入資源池，使其可以為不同的進程協(xié)調(diào)分配和釋放資源核心技術容器集群資源管理、容器代表公司：Google、Mesosphere、Facebook、Twitter等。yelp使用mesosphere大大提高了數(shù)據(jù)中心的性能；yelp每天運行大約1700萬獨立測試，啟動100萬個容器。分布式“系統(tǒng)”Mesos的結構（1）Master、Slave、Zookeeper、FrameworkMaster通過zookeeper實現(xiàn)選舉機制，一個N個節(jié)點的zookeeper集群可以在ceil（N/2）個節(jié)點失效情況下正常工作。Zookeeper分為競爭者和觀察者模式：master既是競爭者也是觀察者，slave都是觀察者，尋找當前主master并與之通信。Master負責給各個不同的框架分配資源并管理任務的生命周期Slave節(jié)點負責利用已有資源執(zhí)行框架下發(fā)任務Framework分布式應用程序（比如marathon），包括組件：框架調(diào)度器和執(zhí)行器。Mesos是Apache下的開源分布式資源管理框架，它被稱為是分布式系統(tǒng)的內(nèi)核，能夠簡化在一堆共享服務器池中運行任務的復雜性。

核心實現(xiàn)DRF算法：用戶無法通過夸大自己的需求；只能拒絕或接受Mesos提供的資源（Offer）。Mesos的結構（2）框架調(diào)度器在mesosmaster上進行注冊。Mesosmaster從slave節(jié)點獲取資源offer，調(diào)用分配模塊決定將這些資源分給哪個框架?？蚣苷{(diào)度器從Master接受資源offer。當接受到資源offer后，框架調(diào)度器會檢查offer是否合適。如果合適，接受該offer并向master返回一個需要在slave上運行的的執(zhí)行器列表。Slave節(jié)點分配所請求的資源并運行任務執(zhí)行器，任務執(zhí)行器在slave節(jié)點上運行框架下的任務?？蚣苷{(diào)度器接收任務運行成功或失敗的通知。基于Mesos的資源分配MarathonMesos集群可以混合運行來自Marathon的不同類型的任務Marathon基于Mesos的任務調(diào)度為動態(tài)調(diào)度，即每個任務在執(zhí)行之前是不知道將在哪一臺服務器上執(zhí)行和綁定哪一個端口9臺服務器（灰色）組成的Mesos集群上混合運行各種Marathon調(diào)度的任務，其中一臺服務器壞掉以后，這臺服務器上的任務就受影響，Marathon可把任務遷移到其他服務器上，實現(xiàn)容錯Marathon是基于Mesos來做任務調(diào)度，Mesos僅負責分布式集群資源分配，不負責任務調(diào)度。使用Mesos來管理Docker實踐1：持續(xù)部署-蘇研DCOS系統(tǒng)

BC-EC（openstack）自動化部署工具-FuelOpenStack安裝非常困難,困難主要來自于:開源項目，系統(tǒng)本身開發(fā)時間短，不夠穩(wěn)定,bug多。配置自由，靈活度高，很難將所有的配置項都試全。Fuel是Mirantis公司開發(fā)的一個開源的OpenStack套件，具有以下優(yōu)點:安裝簡便:全部通過圖形界面操作。配置靈活:支持Redhat和CentOS,支持Ceph開源存儲軟件。穩(wěn)定可靠:已經(jīng)在多家公司商用。Mirantisfuel從下載,可以下載iso文件。實踐1：Fuel自動部署

BC-EC（openstack）自動化部署工具-FuelFuel并不是一個大的整體，它由幾個獨立的組件組成。部分是Fuel特有的，部分是第三方服務UI

一個用JaveScript寫的頁面應用，主要還是用bootstrap框架Nailgun

提供REST

API

以及部署數(shù)據(jù)管理。

Astute

Nailgun任務的執(zhí)行者。Cobbler

提供快速網(wǎng)絡安裝系統(tǒng)Mcollective

一個構建服務器編排和并行工作執(zhí)行系統(tǒng)的框架OSTF

Openstacktestingframework,提供健康檢查實踐1：Fuel自動部署

BC-EC（openstack）自動化部署工具-FuelFuel并不是一個大的整體，它由幾個獨立的組件組成。部分組件是Fuel特有的，部分是第三方服務UINailgunAstuteCobblerMcollectiveOSTF一個用JaveScript寫的頁面應用，主要還是用bootstrap框架。核心服務，提供REST

API

以及部署數(shù)據(jù)管理。核心服務，Nailgun任務的執(zhí)行者。提供快速網(wǎng)絡安裝系統(tǒng)。一個構建服務器編排和并行工作執(zhí)行系統(tǒng)的框架。Openstacktestingframework,提供健康檢查。實踐1：Fuel自動部署

BC-EC（openstack）自動化部署工具-Fuel實踐1：Fuel自動部署

BC-EC（openstack）自動化部署工具-Fuel實踐1：Fuel自動部署

BC-EC（openstack）自動化部署工具-Fuel實踐1：Fuel自動部署

BC-EC（openstack）自動化部署工具-Fuel實踐1：Fuel自動部署

BC-EC（openstack）自動化部署工具-Fuel實踐1：Fuel自動部署

BC-EC（openstack）自動化部署工具-Fuel實踐1：Fuel自動部署實踐1：持續(xù)部署-H-Control系統(tǒng)實踐2：實現(xiàn)用戶操作的可視化實踐2：蘇研-OP系統(tǒng)運用自動化運維作業(yè)工具，將日常重復性的運維作業(yè)內(nèi)容固化，實現(xiàn)自動化備份、自動化分析報表等功能，提高運維效率，使運維人員有時間開展系統(tǒng)優(yōu)化提升工作。固化日常運維工作將備份、分析報表等重復性、機械性的日常運維作業(yè)固化；自動化運維作業(yè)工具使用自動化運維作業(yè)工具，將固化的運維工作改為由系統(tǒng)自動處理;系統(tǒng)優(yōu)化提升運維人員將節(jié)省下來的時間，用于系統(tǒng)優(yōu)化提升工作；1.如何落實運維流程？2.如何提高運維技能？數(shù)據(jù)備份分析報表數(shù)據(jù)恢復自動化運維作業(yè)功能模塊實踐2：實現(xiàn)運維的自動化與可視化工具一：Ansible基于Python研發(fā)。糅合了眾多老牌運維工具的優(yōu)點實現(xiàn)了批量操作系統(tǒng)配置、批量程序的部署、批量運行命令等功能。僅需在管理工作站上安裝ansible程序配置被管控主機的IP信息，被管控的主機無客戶端。批量維護工具介紹(1)、連接插件connectionplugins：負責和被監(jiān)控端實現(xiàn)通信；(2)、hostinventory：指定操作的主機，是一個配置文件里面定義監(jiān)控的主機；(3)、各種模塊核心模塊、command模塊、自定義模塊；(4)、借助于插件完成記錄日志郵件等功能；(5)、playbook：劇本執(zhí)行多個任務時，非必需可以讓節(jié)點一次性運行多個任務。實踐2：實現(xiàn)運維的自動化與可視化工具二：SaltstackSalt，一種全新的基礎設施管理方式，部署輕松，在幾分鐘內(nèi)可運行起來，擴展性好，很容易管理上萬臺服務器，速度夠快，服務器之間秒級通訊。Salt底層采用動態(tài)的連接總線,使其可以用于編配,遠程執(zhí)行,配置管理等等。Salt的拓撲使用簡單的server/client模式批量維護工具介紹實踐2：實現(xiàn)運維的自動化與可視化實踐2：蘇研-HControl產(chǎn)品實踐3：構建立體化的監(jiān)控體系進程業(yè)務巡檢1）基礎設施：包括IDC網(wǎng)絡設備及X86服務器，這些設備的監(jiān)控都是基于廠家的實現(xiàn)2）基礎服務標準化：是指CPU、Mem、Disk及系統(tǒng)openfile等通用服務的監(jiān)控；3）服務進程：各組件服務進程；4）基于業(yè)務提煉的監(jiān)控項：組件基本進程的監(jiān)控并不能滿足監(jiān)控需求；5）重要UI的監(jiān)控6）業(yè)務巡檢實踐3：構建立體化的監(jiān)控體系停機費用成本=部署頻率*版本迭代失敗概率*平均修復時間*斷電的金錢損失實踐3：云計算監(jiān)控Cloud

Master實踐3：云計算監(jiān)控Cloud

Master通過Ganglia采集物理機的性能指標通過Ceilometer采集虛擬機的性能指標實踐3：云計算監(jiān)控Cloud

Master實踐3：大數(shù)據(jù)監(jiān)控H-Control實踐3：大數(shù)據(jù)監(jiān)控H-Control云時代日志的特點系統(tǒng)規(guī)模大單個資源池服務器規(guī)模100+以上業(yè)務模塊多單個控制節(jié)點服務進程超過20個日志量大100臺服務器規(guī)模資源池，每天日志量達到3000w條日志數(shù)據(jù)之間相互關聯(lián)SLA要求比較高云平臺承載的業(yè)務越來越多，對平臺穩(wěn)定性要求越來高如何在災難性事件發(fā)生時，能夠做好相應的準備如何在第一時間捕獲到錯誤動態(tài)如何針對不同的業(yè)務邏輯建立保障措施如何利用關聯(lián)性挖掘有價值的信息實踐4：日志的集中化管理IT系統(tǒng)信息服務器網(wǎng)絡設備存儲設備操作系統(tǒng)應用軟件用戶行為用戶行為業(yè)務信息從ITOperationManagement(ITOM)到ITOperationAnalytics(ITOA)大數(shù)據(jù)技術應用于IT運維，通過數(shù)據(jù)分析提升IT運維效率

??可用性監(jiān)控

??應用性能監(jiān)控

??故障根源分析

??安全審計Gartner估計，到2017年15%的大企業(yè)會積極使用ITOA；而在2014年這一數(shù)字只有5%實踐4：IT運維分析日志管理系統(tǒng)的進化日志1.0數(shù)據(jù)庫日志2.0Hadoop或者NoSQL日志3.0實時搜索引擎實踐4：日志的集中化管理日志沒有集中處理登錄服務器，使用腳本或者命令查看日志被刪除磁盤滿了刪日志黑客刪除日志，抹除入侵痕跡日志只做事后追查沒有實時監(jiān)控、分析使用數(shù)據(jù)庫存儲日志無法適應TB級海量日志數(shù)據(jù)庫的schema無法適應各種各樣的日志格式無法提供全文檢索Hadoop批處理，不夠及時查詢慢數(shù)據(jù)離線挖掘，無法做在線分析Storm/SparkHadoop/Storm/Spark都只是一個開發(fā)框架，不是為日志管理設計的，需要大量開發(fā)NoSQL不支持全文檢索對日志實時檢索、分析日志實時搜索分析引擎快日志從產(chǎn)生到搜索分析出結果只有幾秒延時大每天處理TB級別的日志量靈活可搜索、分析任何日志云環(huán)境日志管理的實踐—目標功能實時數(shù)據(jù)采集存儲+索引查詢/關聯(lián)搜索實時告警圖表展示實時動態(tài)的采集日志數(shù)據(jù)，可以動態(tài)的監(jiān)控到整個環(huán)境的運行狀態(tài)，一旦有緊急情況發(fā)生，可以第一時間掌握信息。集中管理來自多個集群的海量日志，對抓取的日志存儲并建立索引，可以快速的在海量信息中找到感興趣的部分。運用簡單的搜索語法在集中管理的海量日志中查找所需信息，根據(jù)關鍵詞一鍵查找多個集群中關聯(lián)的信息。根據(jù)實時采集的日志數(shù)據(jù)，分析日志信息的特征制定告警，對系統(tǒng)出現(xiàn)的錯誤做到第一時間的掌控，同時根據(jù)特定業(yè)務特征，實現(xiàn)危險狀態(tài)的預警。能對各字段進行統(tǒng)計，值分布，總數(shù)，平均數(shù)等，提供多樣化的圖表支持，柱狀圖，餅圖，折線圖等。利用自研的BC-Logmanager對非結構化日志的采集、分析為開發(fā)/運維人員提供精準分析、多維度圖表展示、實時報警、數(shù)據(jù)管理、離線處理和數(shù)據(jù)過濾等功能。實踐4：日志管理軟件Log-Manager云環(huán)境日志管理的實踐—數(shù)據(jù)流程圖數(shù)據(jù)庫文本文件數(shù)據(jù)流采集客戶端采集客戶端采集客戶端中間數(shù)據(jù)存儲實時分析離線分析數(shù)據(jù)挖掘監(jiān)控報警分布式索引結果可視化實踐4：日志管理軟件Log-Manager云環(huán)境日志管理的實踐—系統(tǒng)結構圖數(shù)據(jù)庫應用系統(tǒng)文件InputTcp/UdpInputKafkaInputGelfInput檢索搜索引擎元數(shù)據(jù)數(shù)據(jù)庫Output監(jiān)控系統(tǒng)自定義報警分析系統(tǒng)其他集成監(jiān)控工具dashboard報表報警機制Journal機制訪問控制數(shù)據(jù)處理實時計算ServerWebInterface可視化搜索配置新增功能增強功能數(shù)據(jù)推薦數(shù)據(jù)分析集群管理Flume實踐4：日志管理軟件Log-Manager蘇研IDC研發(fā)測試區(qū)實踐蘇研自有IDC已投入使用，穩(wěn)定運行近一年時間。研發(fā)測試區(qū)100臺物理機運行著BC-EC，支撐著研發(fā)部近2000臺研發(fā)用虛擬機的運作，三臺控制節(jié)點上每天會產(chǎn)出500G左右的日志數(shù)據(jù)?！刂乒?jié)點抓取客戶端消息隊列ZookeeperZookeeperZookeeperServer+Web+數(shù)據(jù)庫搜索引擎搜索引擎搜索引擎抓取客戶端抓取客戶端消息隊列實踐4：日志管理軟件Log-Manager