項目7 運維網絡系統(tǒng)

負責人：知識結構目錄7.1網絡運維基礎7.2網絡故障處理7.3網絡巡檢規(guī)范7.4網絡巡檢項目實施7.5網絡變更規(guī)范網絡運維基礎7.1目錄1學習背景2網絡運維概念3網絡運維的重要性4知識和技能目標7.1.1學習背景回顧過去的學習，小陳完成了對企業(yè)網絡的認知、學習了公司的網絡工程實施規(guī)范，還重新復習了路由、交換、安全的理論和實操技能，到這時候，項目經理老張計劃幫助小陳補上最后的短板，即網絡運維方面的知識和技能。當網絡工程項目實施完畢后，通常會進入到運維階段。為了保證網絡各項功能正常運行、從而支撐用戶業(yè)務的順利開展，需要對網絡進行日常的維護工作和故障處理，在這個章節(jié)中，我們將與小陳一道共同學習關于網絡巡檢、網絡變更、故障處理的相關知識和技能。7.1.2網絡運維概念網絡運維是指為保障計算機網絡與業(yè)務正常、安全、有效運行而采取的生產組織管理活動，簡稱運維管理或OAM。負責維護并確保整個網絡服務的高可用性,同時不斷優(yōu)化網絡系統(tǒng)架構提升部署效率。--摘自“百度百科”“網絡運維”名詞解釋7.1.2網絡運維概念網絡運維的典型工作任務網絡故障處理網絡變更網絡巡檢其中：網絡巡檢和網絡變更：是有計劃、預防性的維護工作。

網絡故障處理：是基于事件觸發(fā)的維護工作。7.1.3網絡運維的重要性運維故障案例介紹故障現象：某商業(yè)銀行核心業(yè)務網絡發(fā)生斷網故障，持續(xù)時間1小時20分鐘。故障影響：所有的核心業(yè)務（儲蓄、貸款、轉賬等）都無法辦理。故障調查：此次斷網故障被定性為嚴重的生產責任事故。經調查發(fā)現該行的網絡運維工作管理不規(guī)范、工程師的日常運維工作馬虎、松懈。故障擔責：該商業(yè)銀行被監(jiān)管機構（人民銀行和銀保監(jiān)會）通報批評，相關運維責任人也受到了嚴厲的處罰。7.1.3網絡運維的重要性網絡的高可用性網絡是支撐業(yè)務系統(tǒng)的，即為了保障業(yè)務系統(tǒng)正常運行，離不開網絡運維工作。按照監(jiān)管機構的要求，商業(yè)銀行核心網絡的可用性目標應大于99.999%。99.999%的高可用性：即在一年365天的運行過程中，核心網絡發(fā)生故障造成不可用的時間總和不超過5分15秒。7.1.4知識和技能目標網絡運維項目目標能夠理解并描述網絡運維工作熟悉日常的網絡巡檢維護任務熟悉網絡巡檢維護報告的格式掌握結構化的網絡故障處理流程掌握常見網絡故障的處理方法掌握網絡變更的操作流程規(guī)范熟悉網絡變更的常見場景網絡巡檢規(guī)范7.2目錄1網絡巡檢概念2現場數據采集3巡檢工作流程撰寫巡檢報告巡檢檢查清單457.2.1網絡巡檢概念網絡巡檢是一種預防性的工作，它是指對網絡進行的定期檢查。在網絡的正常運行過程中，及時的發(fā)現并消除網絡所存在的缺陷或隱患、維持網絡的健康水平，從而使網絡能夠長期安全、穩(wěn)定、可靠地運行。

根據網絡現狀建立日常巡檢制度，確保網絡維護有序、規(guī)范的進行。日常巡檢對操作人員的技術要求不高，但對操作的規(guī)范性要求很高。7.2.2巡檢工作流程準備階段現場數據采集數據分析撰寫報告匯報結果7.2.3現場數據采集日常維護分為設備環(huán)境維護和設備軟件維護兩大部分。1.設備硬件運行環(huán)境：是指設備運行的機房、供電、散熱等外部環(huán)境，這是設備運行的基礎條件。對于設備環(huán)境的維護，工程師需要親臨現場，甚至借助一些專業(yè)工具進行觀察、測量。2.設備軟件運行情況：設備軟件運行情況與設備運行的具體業(yè)務密切相關。華為數通設備使用了通用的VRP平臺，工程師應該掌握VRP平臺的常用維護命令。對于設備軟件的維護，工作人員可以現場操作，也可以遠程操作，主要通過設備的display命令實現。1.手工數據采集法：手工采集就是登錄到網絡設備上，通過手工輸入命令并記錄輸出結果的方式進行數據采集。2.巡檢工具數據采集方法：通過廠商提供的專用巡檢工具進行數據采集。巡檢工具一般集合了常用的設備狀態(tài)檢查的命令，可以自動化收集輸出結果。7.2.4巡檢檢查清單日常巡檢工作是有計劃的例行工作，因此，針對各項操作整理一份操作清單（Checklist）是十分必要的。不同網絡設備的Checklist可以參考相應的產品文檔。常見的Checklist有：設備基本信息表設備端口檢查表設備環(huán)境檢查表設備運行檢查表網絡業(yè)務檢查表7.2.4巡檢檢查清單設備環(huán)境檢查表設備環(huán)境檢查表序號檢查項檢查方法/工具評估標準和說明檢查結果備注說明1設備位置擺放是否合理、牢固觀察設備應放在通風、干燥的環(huán)境中，且放置位置平整、設備周圍不得有雜物堆積。2機房溫度狀況觀察/溫度計通常要求機房長期工作環(huán)境溫度：0℃~45℃。3機房濕度狀況觀察/濕度計通常機房的長期工作環(huán)境相對濕度應在5%RH~85%RH之間，不結露。4機房內空調運行是否正常觀察/空調空調可持續(xù)穩(wěn)定運行，使機房的溫度和濕度保特在設備規(guī)定范圍內5清潔狀況觀察所有項目都應干凈整潔無明顯塵土附著。注意防塵網的清潔狀況，及時清洗或更換，以免影響機柜門及風扇框的通風、散熱。7.2.4巡檢檢查清單設備基本信息表設備基本信息檢查表序號檢查項檢查方法評估標準檢查結果備注說明1設備軟件版本信息displayversion檢查軟件版本是否是穩(wěn)定運行版本2檢查軟件包執(zhí)行displaystartup命令檢查下述系統(tǒng)文件名是否正確:當前啟動大包名下次啟動大包名備份大包名配置、許可文件、補丁的當前啟動文件名和下次啟動文件名3License信息執(zhí)行displaylicense命令執(zhí)行displaylicensestate命令查看GTLLicense文件名、版本及配置項是否符合要求，確認是否需要升級?！癕asterboardlicensestate’項為“Normal"."Masterboardlicensestate項為“Demo”或“Trial”時，確認License在有效期內。4檢查補丁信息執(zhí)行displaypatch-information命令補丁文件必須與實際要求一致，建議加載華為公司發(fā)布的該產品版本對應的最新的補丁文件。補丁必須已經生效，即補丁的總數量和正在運行的補丁數量一致。5

配置正確性displaycurrent-configuration檢查當前生效的配置是否是正確的配置7.2.4巡檢檢查清單設備端口檢查表設備端口檢查表序號檢查項檢查方法評估標準檢查結果備注說明1接口錯包執(zhí)行displayinterface命令業(yè)務運行時，要檢查接口有無錯誤包，包括CRC錯誤包等。2端口協(xié)商模式執(zhí)行displayinterface命令端口協(xié)商模式正確，兩邊端口要一致，不能有半雙工模式。3接口配置執(zhí)行displaycurrent-configurationinterface命令接口的配置項合理，如接口雙工模式、協(xié)商模式、速率、環(huán)回配置等。4接口狀態(tài)執(zhí)行displayinterfacebrief命令接口的Up/Down狀態(tài)滿足規(guī)劃要求。接口的收發(fā)流量是否過大？（長期超過70%）5PoE供電執(zhí)行displaypoepower-stateinterfaceinterface-typeinterface-number命令PoE供電狀態(tài)正常，"PortpowerON/OFF"為ON"的接口，其“Portpowerstatus"為“Delivering-power"。7.2.4巡檢檢查清單設備運行檢查表設備運行檢查表序號檢查項檢查方法評估標準檢查結果備注說明1單板運行狀態(tài)displaydevicestatus為normal代表正常2風扇運行狀態(tài)displayfanstatus為normal代表正常3電源運行狀態(tài)displaypowerstatus為supply代表正常4CPU利用率displaycpu-usage如果CPU利用率超過80%需重點關注5內存利用率displaymemory-usage如果內存利用率超過60%需重點關注6日志信息displaylogbuffer檢查日志中是否存在異常信息7診斷信息displaydiagnostic-information檢查診斷信息中是否存在異常信息7.2.4巡檢檢查清單網絡業(yè)務檢查表網絡業(yè)務檢查表序號檢查項檢查方法評估標準檢查結果備注說明1組播成員接口和路由器接口執(zhí)行displayigmp-snoopingport-info靜態(tài)成員接口、動態(tài)成員接口、靜態(tài)路由器接口和動態(tài)路由器接口的信息正確。2組播報文統(tǒng)計信息執(zhí)行displayigmp-snoopingstatisticsvlanVLAN接收/發(fā)送的IGMP報文和PIMHello報文個數,以及所有VLAN內發(fā)生的二層事件次數統(tǒng)計合理。3組播轉發(fā)表信息執(zhí)行displayl2-multicastforwarding-table命令查看二層組播轉發(fā)表項。執(zhí)行displaymulticastforwarding-table命令查看三層組播轉發(fā)表項。組播轉發(fā)表項正確。4組播路由協(xié)議執(zhí)行displaymulticastrouting-table命令。域內組播路由協(xié)議采用PIM-SM。與組播相連的接口都必須要使能IGMP。5DHCPSnooping綁定表執(zhí)行displaydhcpsnoopinguser-bindall靜態(tài)表項和動態(tài)表項正確。6MAC地址表信息執(zhí)行displaymac-addressMAC地址表信息正確。7.2.5撰寫巡檢報告

巡檢工程師根據采集到的數據進行整理并分析。特別是對一些異常信息，包括日志、接口狀態(tài)、路由狀態(tài)、交換狀態(tài)等，需結合客戶網絡的實際情況加以分析，最終根據公司提供的巡檢報告模板撰寫本次巡檢報告，然后就巡檢過程中發(fā)現的問題向客戶匯報，并請客戶在巡檢報告上簽字確認。巡檢報告模板如表格所示。設備巡檢報告1.報告封面2.文檔信息3.綜述1）巡檢拓撲2）巡檢清單3）巡檢命令參考4）巡檢問題匯總分析4.

設備巡檢明細1）設備1環(huán)境信息檢查設備基本信息設備運行狀態(tài)檢查端口狀態(tài)檢查業(yè)務運行狀態(tài)檢查2）

設備2環(huán)境信息檢查設備基本信息設備運行狀態(tài)檢查端口狀態(tài)檢查業(yè)務運行狀態(tài)檢查3）設備3

……表格：設備巡檢報告模板網絡變更規(guī)范7.3目錄1變更定義2變更場景3變更工作流程7.3.1變更定義網絡變更包括硬件變更、軟件變更、參數調整等。硬件變更包括新設備割接入網、新老設備更替、擴容等；軟件變更包括版本變更、新增補丁等；參數調整一般針對設備功能和性能進行調整。網絡變更屬于用戶日常運維重要部分，大部分變更源于現有業(yè)務調整、新業(yè)務上線、安全需求調整、性能優(yōu)化和規(guī)范性調整、協(xié)議更改、網絡擴容、路由調整等；作為用戶現網業(yè)務的基礎承載，網絡變更必須確保能夠安全順利實施。7.3.2變更工作流程網絡變更包括三個階段（變更前、變更中、變更后）的工作，其中每個階段又需要完成相應的子任務工作。變更前了解需求、風險查資料做實驗寫方案/腳本變更中操作手冊應對異常驗證

變更后信息收集對比收尾保障怎樣做網絡變更？7.3.3變更場景網絡割接企業(yè)網絡為了適應業(yè)務的需求而不斷進行改造和優(yōu)化，無論是硬件的擴容、軟件的升級、配置的變更，凡是影響現網運行業(yè)務的操作(如造成業(yè)務的中斷)，企業(yè)都會根據業(yè)務的安全等級要求，制定嚴格的操作流程和風險規(guī)避措施，并將其定義為割接項目。網絡優(yōu)化用戶的業(yè)務在不斷發(fā)展，當現有網絡不能滿足業(yè)務需求，或網絡在運行過程中暴露出了某些隱患時，就需要通過網絡優(yōu)化來解決。與新建網絡不同，網絡優(yōu)化基于現有的正在運行的網絡。網絡變更主要包含兩個層面7.3.3變更場景設備升級常見的有設備單板擴容、設備單板更換、設備軟件版本升級等。網絡物理結構改造常見的有新增鏈路、新增設備、結構調整等，如右圖所示。網絡割接的主要場景圖

：網絡物理結構改造7.3.3變更場景網絡系統(tǒng)調整常見的有IP地址改造、IP協(xié)議變更等，如下圖所示。網絡割接的主要場景圖

：

網絡系統(tǒng)調整7.3.3變更場景網絡性能優(yōu)化網絡性能優(yōu)化，比如QoS優(yōu)化、業(yè)務優(yōu)化等，如下圖所示。網絡割接的主要場景圖

：網絡性能優(yōu)化7.3.3變更場景網絡割接的主要場景硬件優(yōu)化在合理分析對新硬件的需求后在性能和價格方面作出最優(yōu)解決方案。軟件優(yōu)化對軟件的參數進行設置，從而使系統(tǒng)性能達到最優(yōu)的過程。網絡擴容在原有網絡的基礎上，增加新的網絡建設項目，包括設備的替換、設備的增加、組網改變等。網絡優(yōu)化概述：網絡優(yōu)化的目的是提升網絡的性能、增強網絡安全性以及提升網絡的用戶體驗。主要包括：網絡故障處理7.4目錄1故障定義2故障場景3故障排除流程4故障分析方法7.4.1故障定義“網絡故障”（networkfailure）是指由于硬件的問題、軟件的漏洞、第三方攻擊等引起網絡無法提供正常服務或降低服務質量的狀態(tài)。--摘自“百度百科”“網絡故障”是指由于某種原因而使網絡喪失規(guī)定功能影響業(yè)務的現象。從用戶的角度出發(fā)，凡是影響業(yè)務的現象都可以定義為故障。因而故障不一定只是設備問題，也有可能是系統(tǒng)或兼容性等問題。

--從業(yè)務角度的定義7.4.1故障定義網絡無法提供正常服務：例如網絡不通。故障解釋第三方攻擊：黑客攻擊，病毒的侵入等。軟件問題：網絡設備的軟件配置命令和參數錯誤，操作系統(tǒng)BUG等。網絡降低服務質量：例如網絡擁塞、丟包。硬件問題：組網的設備（路由器、交換機等）和連接部件（網卡、網線、調制解調器等）發(fā)生故障。7.4.2故障場景網絡故障分類現象分類告警環(huán)路業(yè)務不通業(yè)務中斷業(yè)務瞬斷丟包協(xié)議異常協(xié)議震蕩路由異常硬件類???配置類????網絡類????????性能問題?????軟件類??對接類???其他?????按照故障定位可以分為硬件類、配置類、網絡類、性能問題、軟件類、對接類以及其他故障。不同的網絡故障所引起的異?，F象如表所示：7.4.2故障場景網絡故障等級按照故障對設備或業(yè)務影響的嚴重程度不同分P1、P2、P3和P4。故障級別故障級別定義P1級故障重大故障，單臺核心設備發(fā)生宕機，或局部網絡節(jié)點整體癱瘓，業(yè)務丟失P2級故障重要故障，單臺核心設備部分板卡故障，潛在影響或限制了部分業(yè)務運營P3級故障技術故障：單臺核心設備技術問題引起的技術問題，但系統(tǒng)仍可正常運行P4級故障功能故障：安裝或配置方面需要信息或支援，很顯然對用戶的業(yè)務幾乎無影響7.4.3故障排除流程結構化排除流程結構化的網絡故障排除流程：由報告故障開始，然后按步驟找出故障原因，并解決故障的總體流程。7.4.3故障排除流程故障排除步驟報告故障：網絡故障排除通常是從用戶報告故障開始的，而用戶報告故障主動提供的信息經常是模糊、籠統(tǒng)的，所以需要進行主動溝通、確認。確認故障：需要了解一些信息，確定故障現象。確認故障的四個要素：主體、表現、時間、位置。收集信息：是很重要的一個步驟，收集信息階段主要是收集與故障相關的信息，如文檔、網絡變更情況、故障相關設備的配置和運行狀態(tài)信息等。7.4.3故障排除流程故障排除步驟判斷分析：判斷分析階段是對收集到的信息進行分析整理。通過對故障信息、維護信息、變更信息的匯總，結合團隊經驗（或個人經驗）進行綜合的判斷和分析，得到可能導致網絡故障的原因列表。7.4.3故障排除流程故障排除步驟原因列表：在原因列表階段，首先需要列出所有可能的故障原因，然后通過信息過濾，列出最可能的待排查故障原因，同時排除掉當前最不可能的故障原因，從而縮小故障的排除范圍。7.4.3故障排除流程故障排除步驟排障評估：列出待排查的故障原因清單后，應該首先評估故障排除工作的復雜程度（如排除網絡故障的難度和所需解決時間等），而不是馬上開始進行逐一排查。對復雜的網絡故障，如果經過評估認為短時間內無法排除故障，而用戶又需要馬上恢復網絡的可用性，這時可能需要臨時跳過故障節(jié)點，搭建替代的網絡環(huán)境。7.4.3故障排除流程故障排除步驟逐一排查：在逐一排查階段同樣需要平衡解決問題的迫切性與引入新故障的風險性之間的矛盾。所以，應該明確告知用戶排查工作可能帶來的風險，并在得到許可的情況下才能執(zhí)行操作。有些情況下，通過逐一排查驗證推斷的過程涉及到網絡變更，這時必須做好完善的應急預案和回退準備。7.4.3故障排除流程故障排除步驟解決故障：如果通過逐一排查找到了故障的根本原因，并排除了故障，網絡故障排除的流程就可以結束了。復雜的網絡環(huán)境中，故障現象消失后仍然需要觀察一段時間，一方面確認用戶報告的故障已經得到了解決，另一方面確認故障排除的過程中沒有引入新的故障。7.4.3故障排除流程故障排除步驟收尾工作：收尾工作包括相關文檔的整理、信息的通告等。需要對之前網絡故障排除流程中所有進行了變更的配置或軟件進行備份，并做好故障排除文檔的整理和移交工作。7.4.4故障分析方法故障分析的核心思想TCP/IP參考模型該模型是網絡故障排除的理論基礎，OSI參考模型的物理層和數據鏈路層（對應于TCP/IP參考模型的網絡接口層）是需要我們關注的。通常的故障排除方法是從TCP/IP參考模型的網絡接口層和網絡層分別確認并測試業(yè)務流量的路徑，然后采用自頂向下法或自底向上法進行故障排除。7.4.4故障分析方法故障分析的常用方法自頂向下法確認業(yè)務流量路徑的過程中，同時也驗證了網絡層的連通性。如果網絡層的連通性沒有問題，可以使用自頂向下法進行故障排除。即從應用層開始，對比相同應用的工作狀態(tài)、檢查是否存在應用層代理、應用層防火墻等導致故障現象的因素。7.4.4故障分析方法故障分析的常用方法自底向上法如果網絡層的連通性有問題，說明支持網絡層的下一層或網絡層本身可能存在問題，這時可以使用自底向上法進行故障排除。在物理層，檢查是否存在網絡線纜故障等問題；在數據鏈路層，檢查是否存在二層環(huán)路故障、鏈路層協(xié)議不匹配等問題；在網絡層，檢查是否存在路由協(xié)議配置錯誤、防火墻過濾等問題。網絡巡檢項目實施7.5目錄1任務一：某客戶網絡