提升端到端業(yè)務(wù)質(zhì)量措施和手段

1、提升端到端業(yè)務(wù)質(zhì)量措施和手段內(nèi)容簡介一、IP承載網(wǎng)維護(hù)工作特點(diǎn)三、網(wǎng)絡(luò)層面端到端研究二、理解“端到端的三個(gè)維度四、“規(guī)劃、建設(shè)、維護(hù) 端到端研究五、跨專業(yè)“業(yè)務(wù)端到端研究特點(diǎn)一：重要，安全要求高特點(diǎn)二：業(yè)務(wù)接入量大、割接多特點(diǎn)四：規(guī)范、標(biāo)準(zhǔn)、精細(xì)特點(diǎn)三：跨專業(yè)多，支撐力度高IP專網(wǎng)工作特點(diǎn)一、IP承載網(wǎng)維護(hù)工作特點(diǎn)二、轉(zhuǎn)變維護(hù)思路，將“設(shè)備維護(hù)轉(zhuǎn)變?yōu)椤岸说蕉藰I(yè)務(wù)質(zhì)量保障。形成“規(guī)劃、建設(shè)、維護(hù)、優(yōu)化橫向溝通和“業(yè)務(wù)、承載、傳輸跨專業(yè)聯(lián)動(dòng)縱向溝通模式。一、根據(jù)IP承載網(wǎng)的網(wǎng)絡(luò)地位以及業(yè)務(wù)特點(diǎn)，要求我們做到“精細(xì)化、“可靠性、“平安性管理。云南公司形成了“兩手段資源庫+自主開發(fā)的智能維護(hù)管理系統(tǒng)、

2、“一流程標(biāo)準(zhǔn)繁多的業(yè)務(wù)接入申請的精細(xì)化工作模式。業(yè)務(wù)類型多，業(yè)務(wù)質(zhì)量要求高，有效支撐未來大數(shù)據(jù)的業(yè)務(wù)演進(jìn)“端到端維護(hù)管理思路跨專業(yè)、跨產(chǎn)品、跨廠家，綜合性高，維護(hù)難度大日常各類業(yè)務(wù)接入CE需求多，割接頻繁，數(shù)據(jù)操作多各類業(yè)務(wù)接入具有標(biāo)準(zhǔn)化、一致性，數(shù)據(jù)標(biāo)準(zhǔn)嚴(yán)格，工作精細(xì)二、理解“端到端的三個(gè)維度打造優(yōu)質(zhì)、高效的精品“IP承載網(wǎng)絡(luò)規(guī)劃-建設(shè)-維護(hù)端到端2跨專業(yè)“業(yè)務(wù)端到端31、網(wǎng)絡(luò)流量評估分析模型、CE業(yè)務(wù)接入原那么及評估模板提供方案部門指導(dǎo)規(guī)劃；2、制定工程實(shí)施標(biāo)準(zhǔn)，例如標(biāo)簽要求、板卡布放原那么等提供工程部門指導(dǎo)工程實(shí)施。3、業(yè)務(wù)接入現(xiàn)場檢查細(xì)那么提供分公司指導(dǎo)業(yè)務(wù)開通現(xiàn)場督導(dǎo)。1網(wǎng)絡(luò)層面端到

3、端IP專網(wǎng)1、“兩手段：完善資源記錄庫資源信息及行為記錄+自主開發(fā)的“智能維護(hù)系統(tǒng)定期采集、自動(dòng)分析；2、“一流程：高效的業(yè)務(wù)接入流程及規(guī)劃模板?業(yè)務(wù)接入CE資源申請單?；3、建立設(shè)備級、網(wǎng)絡(luò)級、業(yè)務(wù)級三級維護(hù)模式，建立各級維護(hù)管理、ping檢測機(jī)制；4、端到端業(yè)務(wù)流量模型及分析。1、編寫“告警監(jiān)控指導(dǎo)手冊、“派單原那么、“告警標(biāo)準(zhǔn)化整治、監(jiān)控培訓(xùn)指導(dǎo)監(jiān)控專業(yè)；2、與傳輸專業(yè)聯(lián)動(dòng)，優(yōu)化并整理全省各級鏈路；3、與業(yè)務(wù)側(cè)聯(lián)動(dòng)，支撐業(yè)務(wù)側(cè)分析如 上網(wǎng)分析、SCTP端到端分析等。轉(zhuǎn)變傳統(tǒng)的“設(shè)備維護(hù)模式為“以業(yè)務(wù)為導(dǎo)向、端到端、全程全網(wǎng)維護(hù)模式。IP專網(wǎng)維護(hù)為基點(diǎn)跨部門、專業(yè)聯(lián)動(dòng)業(yè)務(wù)質(zhì)量為核心三、網(wǎng)絡(luò)

4、層面端到端研究三、網(wǎng)絡(luò)層面端到端研究 一兩手段CE面板資源信息全網(wǎng)各級鏈路傳輸信息全省各地市詳細(xì)拓?fù)湫畔I(yè)務(wù)端到端歸屬信息如SGSN-BSC歸屬，MGW-MSS歸屬等 軟件版本信息割接操作內(nèi)容及過程記錄CE日常業(yè)務(wù)變更操作記錄各類業(yè)務(wù)接入申請及資源規(guī)劃記錄故障總統(tǒng)計(jì)一覽表故障案例庫及故障報(bào)告記錄備件記錄清單巡檢記錄等1、完善的資源記錄及更新實(shí)現(xiàn)全網(wǎng)各級鏈路ping測試配置采集、比照分析IP地址管理、查詢、路由查詢?nèi)W(wǎng)CE端口狀態(tài)檢查光功率、CRC增長分析、端口信息MTU、光模塊、協(xié)商情況、up/down信息等其他信息：vrrp狀態(tài)、vlan信息、流量信息等通過使用該系統(tǒng)，為日常工作提供快速、便

5、捷的各類查詢，例如，CE資源規(guī)劃時(shí)可快速查詢可用資源 ；已將該系統(tǒng)推廣至監(jiān)控、地市維護(hù)人員使用。2、自主研發(fā)的“IP承載網(wǎng)質(zhì)量可視化智能維護(hù)系統(tǒng)IP承載網(wǎng)精細(xì)維護(hù)管理“兩手段 IP地址管理CE資源信息查詢鏈路質(zhì)量Ping測 拓?fù)湫畔?配置信息CE端口各類狀態(tài)檢查傳輸電路平安業(yè)務(wù)接入信息形成精細(xì)化維護(hù)管理1、完善的資源記錄及更新資源信息CE面板信息各地市拓?fù)湫畔⑷W(wǎng)各級鏈路傳輸信息業(yè)務(wù)端到端歸屬信息全網(wǎng)CE局址、槽位、板卡、模塊配置及使用情況；CE各使用端口接入業(yè)務(wù)信息；vlan、VRRP號信息端口模式、使用情況；規(guī)劃時(shí)間、業(yè)務(wù)接入時(shí)間等。全網(wǎng)拓?fù)涓鞯厥蠧S域及PS域拓?fù)涿鞔_到CE下掛網(wǎng)元信息與

6、承載網(wǎng)相連各業(yè)務(wù)系統(tǒng)拓?fù)銰PRS、IMS、CMNET等全網(wǎng)BR-CR、BR-BR、BR-AR、AR-AR、AR-CE、CE-網(wǎng)元各級物理鏈路信息跨局傳輸、同局樓間、裸纖；各級電路傳輸實(shí)際配置帶寬信息CS域MGW-MSS間歸屬信息、PS域SGSN-BSC/RNC歸屬信息、MSS/SGSN Pool信息等；設(shè)備級管理鏈路級管理網(wǎng)絡(luò)級管理業(yè)務(wù)級管理電子文檔記錄管理資源信息內(nèi)容：1、完善的資源記錄及更新行為記錄割接操作內(nèi)容及過程記錄CE日常業(yè)務(wù)變更操作記錄各類業(yè)務(wù)接入申請及資源規(guī)劃記錄故障總統(tǒng)計(jì)一覽表故障案例庫及故障報(bào)告記錄備件記錄清單巡檢記錄等除了IP地址資源、設(shè)備信息資源等的記錄，我們形成了將日常

7、工作內(nèi)容分門別類記錄在案的精細(xì)化管理方式，確保數(shù)據(jù)操作追溯可查、信息更新及時(shí)完備，也便于為今后工作提供經(jīng)驗(yàn)參考。主要包括：資源庫2、自主開發(fā)的“IP承載網(wǎng)智能維護(hù)系統(tǒng)本系統(tǒng)主要包括：主程序、數(shù)據(jù)庫、客戶端三局部。其中主程序可在省公司使用，完成數(shù)據(jù)采集、分析、ping測等。數(shù)據(jù)庫用來存儲(chǔ)主程序采集到的數(shù)據(jù)，主要保存設(shè)備信息、端口信息、IP地址信息等。客戶端用來訪問數(shù)據(jù)庫，主要提供查詢功能，供分公司和相關(guān)專業(yè)同事使用。該系統(tǒng)基于VC+6.0 及MFC開發(fā)，使用CSocket類來telnet設(shè)備，同時(shí)考慮將來程序的移植性，在代碼編寫上，盡量使用STL中的模板類和函數(shù)，防止使用MFC自帶函數(shù)。 數(shù)據(jù)采

8、集數(shù)據(jù)分析查詢IP地址管理 配置檢查全網(wǎng)IP地址統(tǒng)計(jì)IP地址查詢歸屬、所屬業(yè)務(wù)網(wǎng)元，已使用和未使用IP地址沖突檢測CRC增長VRRP狀態(tài)端口利用率(50%)提示光功率分析判斷 其它查詢檢查配置是否保存全網(wǎng)CE的配置信息檢查會(huì)聚路由與黑洞路由是否一一對應(yīng)標(biāo)桿運(yùn)營端口利用率端口信息VRRP信息、vlanif信息當(dāng)前配置Bfd-sessionPing測試Ping 測CE-AR鏈路質(zhì)量Ping測CE至網(wǎng)元的互聯(lián)及業(yè)務(wù)地址“IP承載網(wǎng)智能維護(hù)系統(tǒng)五大功能本系統(tǒng)主要功能包括：數(shù)據(jù)采集、配置檢查、數(shù)據(jù)分析及查詢、IP地址管理、ping測等。功能介紹及應(yīng)用場景數(shù)據(jù)采集1、端口利用率：后臺(tái)程序執(zhí)行dis int

9、 brief，對返回的腳本進(jìn)行處理，提取分析并呈現(xiàn)端口、端口狀態(tài)、端口利用率信息；2、端口信息：通過后臺(tái)程序的加工處理，將端口下的關(guān)鍵信息對應(yīng)設(shè)備上執(zhí)行dis int port后的信息中的關(guān)鍵內(nèi)容，包括端口描述、IP地址、CRC、出入流量、收發(fā)光功率、協(xié)商結(jié)果雙工并方式、協(xié)商帶寬、光模塊類型、端口最大帶寬等信息提取并呈現(xiàn)。3、當(dāng)前配置：后臺(tái)執(zhí)行dis cu,對返回的設(shè)備配置信息進(jìn)行加工處理，提取“端口信息、vpn信息、sub地址、靜態(tài)路由表、前綴列表關(guān)鍵等。此步驟得到的信息主要是供“IP地址管理和“ping測試功能使用。4、VRRP：后臺(tái)執(zhí)行dis vrrp,對返回的腳本進(jìn)行分析處理，主要為“

10、vrrp狀態(tài)檢測和“ping測提供數(shù)據(jù)。本系統(tǒng)主要功能包括數(shù)據(jù)采集、配置檢查、數(shù)據(jù)分析、IP地址管理、設(shè)備信息查詢、ping測；1、例如檢查“標(biāo)桿應(yīng)用：子接口下配置statistic enable，可以根據(jù)配置，先找出未配置統(tǒng)計(jì)功能的子接口，再進(jìn)行逐條添加，極大提高工作效率3、檢查配置是否保存，程序依次在設(shè)備上執(zhí)行compare config，根據(jù)返回結(jié)果找出未保存配置的設(shè)備。2、依據(jù)prefix列表中的會(huì)聚地址，判斷是否該會(huì)聚地址配置了黑洞路由。功能介紹及應(yīng)用場景配置檢查1、CRC增長分析：該項(xiàng)工作需要統(tǒng)計(jì)所有物理端口信息，分別采集兩次設(shè)備端口信息，即可判斷CRC增長情況。2、端口利用率高于

11、閾值：通過執(zhí)行dis int brief,將返回的信息進(jìn)行分析，輸出端口利用率高于50%的端口。3、Vrrp狀態(tài)異常檢測：當(dāng)網(wǎng)元以vrrp接入CE時(shí)，可能存在vrrp狀態(tài)異常。通過dis vrrp采集到vrrp信息，判斷是否存在雙主奇數(shù)和偶數(shù)平面的vrrp狀態(tài)均為master、initialize等異常狀況。4、端口收光異常：根據(jù)hedex不同端口收光要求，對各種類型端口的收光進(jìn)行判斷，是否超出范圍。功能介紹及應(yīng)用場景數(shù)據(jù)分析1、IP地址查詢：如果輸入的IP不帶掩碼，那么取缺省值32，這里查詢到的IP為與全網(wǎng)中IP地址存在包含或被包含或相等的地址說明一下，任意兩段IP地址段只存在包含、被包含和

12、相等關(guān)系，不存在交集，同時(shí)可以輸出該段IP地址剩余可用的IP地址。已用地址和可用地址是不存在沖突的，可以用“沖突檢測功能進(jìn)行檢測。以信令地址為例，可查詢到在現(xiàn)網(wǎng)中已被用的地址和剩余可用的IP地址。該功能可用于IP地址規(guī)劃、查詢網(wǎng)元接在哪對CE下等。功能介紹及應(yīng)用場景IP地址管理2、沖突檢測：業(yè)務(wù)接入地址規(guī)劃時(shí)，難免存在筆誤等原因會(huì)導(dǎo)致IP地址存在相互包含或相等，可先對該IP地址段集合進(jìn)行分析，挑出沖突的地址段。這樣確保規(guī)劃的IP不沖突，但需和現(xiàn)網(wǎng)進(jìn)行比較，判斷是否和現(xiàn)網(wǎng)IP沖突。10.30.0.160/2910.30.0.128/26BSC與MSS7沖突10.30.0.168/2910.30.

13、0.128/26BSC與MSS7沖突10.30.0.176/2910.30.0.128/26BSC與MSS7沖突10.30.0.224/2910.30.0.192/26BSC與MSS7沖突10.30.0.232/2910.30.0.192/26BSC與MSS7沖突10.30.0.240/2910.30.0.192/26BSC與MSS7沖突10.31.114.33/3210.31.114.32/28同為GA的業(yè)務(wù)地址10.31.114.34/3210.31.114.32/28同為GA的業(yè)務(wù)地址10.31.114.35/3210.31.114.32/28同為GA的業(yè)務(wù)地址10.31.114.36/

14、3210.31.114.32/28同為GA的業(yè)務(wù)地址10.31.114.37/3210.31.114.32/28同為GA的業(yè)務(wù)地址10.31.114.38/3210.31.114.32/28同為GA的業(yè)務(wù)地址10.31.114.49/3210.31.114.48/28同為GA的業(yè)務(wù)地址10.31.114.50/3210.31.114.48/28同為GA的業(yè)務(wù)地址10.31.114.51/3210.31.114.48/28同為GA的業(yè)務(wù)地址10.31.114.52/3210.31.114.48/28同為GA的業(yè)務(wù)地址10.31.114.53/3210.31.114.48/28同為GA的業(yè)務(wù)地址1

15、0.31.114.54/3210.31.114.48/28同為GA的業(yè)務(wù)地址10.33.22.0/3010.33.22.0/26mgc-urp3與vlan10沖突10.33.84.0/3010.33.84.0/25urp5-mgw與vlan10沖突 1、ping測試是對鏈路質(zhì)量檢測最簡單且可靠的方法，根據(jù)采集到的配置，生產(chǎn)自動(dòng)ping測表格手動(dòng)生成一方面不完整，其次網(wǎng)絡(luò)頻繁變更，不可能每次都手動(dòng)生成，形成ping測命令，登陸到設(shè)備上，執(zhí)ping測行指令，實(shí)現(xiàn)自動(dòng)ping測。以CE-AR測試為例：功能介紹及應(yīng)用場景PING測試1、CE面板信息查詢：選擇相應(yīng)CE后，即顯示出CE局址、可用的vrid

16、(virtual router id)和設(shè)備面板信息，包括端口信息、IP地址信息等端口參數(shù)。2、會(huì)聚和明細(xì)IP查詢：在選擇CE后，就可以進(jìn)行prefix查詢。該功能用于填寫向集團(tuán)申請割接的需求單，防止反復(fù)登陸設(shè)備，查看prefix等信息。也可查詢該CE，某個(gè)業(yè)務(wù)所使用地址的情況。功能介紹及應(yīng)用場景其他查詢舉例三、網(wǎng)絡(luò)層面端到端研究 二業(yè)務(wù)接入CE資源申請流程三、網(wǎng)絡(luò)層面端到端研究 三流量模型分析方法 IP承載網(wǎng)的雙平面組網(wǎng)方式、協(xié)議的cost值規(guī)劃設(shè)計(jì)、以及BFD及FRR等技術(shù)、路由快速收斂配置等，保證了任意一條或以上鏈路中斷時(shí)，業(yè)務(wù)流量能快速地進(jìn)行備用鏈路切換，而不影響用戶感知。因此，當(dāng)網(wǎng)絡(luò)

17、中節(jié)點(diǎn)或鏈路故障，或業(yè)務(wù)側(cè)發(fā)生倒換等原因改變了原先的流量模型，正常來說都不應(yīng)該影響業(yè)務(wù)。但我們的維護(hù)工作中，仍屢次遇到因異廠家設(shè)備對接、網(wǎng)絡(luò)隱患問題、配置錯(cuò)誤等致使網(wǎng)絡(luò)流量模型改變時(shí)發(fā)生業(yè)務(wù)影響的故障。所以，網(wǎng)絡(luò)維護(hù)人員應(yīng)熟知各種情況下的流量模型。圖1 CE1為主用業(yè)務(wù)端到端流量模型圖2 CE1為主用且CE1-AR1間故障時(shí)業(yè)務(wù)端到端流量模型圖2 CE1為主用且AR1-BR1間故障時(shí)業(yè)務(wù)端到端流量模型故障案例一曲靖CE-AR間傳輸帶寬配置缺失引起的流量擁塞問題1【問題描述】曲靖所有BSC原都?xì)w屬于昆明CE5/6下掛的SGSN3。因SGSN3負(fù)荷較高，GPRS核心網(wǎng)進(jìn)行了調(diào)整，將曲靖局部BSC調(diào)

18、整至歸屬昆明CE5/6下掛的SGSN14，之后發(fā)現(xiàn)曲靖全市所有BSC業(yè)務(wù)流量均上漲30%。且曲靖公司反映調(diào)整前幾個(gè)月全市的數(shù)據(jù)業(yè)務(wù)流量提升不大，用戶 上網(wǎng)感知較差。調(diào)整后，曲靖PS域數(shù)據(jù)流量整體提升了30%左右，且用戶 上網(wǎng)感知提升?！締栴}分析】為了分析曲靖PS域數(shù)據(jù)業(yè)務(wù)流量開展與GPRS核心網(wǎng)側(cè)歸屬SGSN調(diào)整之間的關(guān)系，進(jìn)一步發(fā)現(xiàn)潛在的問題，優(yōu)化全市數(shù)據(jù)業(yè)務(wù)，省公司IP專業(yè)與GPRS核心網(wǎng)專業(yè)共同參與排查。排查過程如下：1、流量模型分析：GPRS專業(yè)首先根據(jù)調(diào)整前后BSC歸屬的SGSN3及SGSN14進(jìn)行了檢查分析，未發(fā)現(xiàn)異常。IP承載網(wǎng)進(jìn)行了局部BSC調(diào)整歸屬前后BSC-SGSN的流量模

19、型分析，分別如下：局部BSC歸屬調(diào)整前，曲靖所有BSC GB業(yè)務(wù)均歸屬到昆明SGSN3。因SGSN3及BSC的GB業(yè)務(wù)均是通過VRRP協(xié)議以主備方式接入本站點(diǎn)CE，華為SGSN3的主用板卡接入奇數(shù)CE5，備用板卡接入偶數(shù)CE6，但CE上配置的該VRRP組主用為CE6，備用為CE5；曲靖CE1/2上為每臺(tái)BSC配置一個(gè)單獨(dú)的VRRP組，且每個(gè)VRRP組的主用均為CE1，備用均為CE2。故SGSN-BSC上下行流量路徑不同：調(diào)整的局部BSC-SGSN3流量模型下行流量方向：華為SGSN3昆明CE5昆明CE6昆明AR2昆明BR2曲靖AR2曲靖CE2諾西BSCxx。上行流量方向：諾西BSCxx曲靖CE

20、1曲靖AR1昆明BR1昆明AR1昆明CE5華為SGSN3。局部BSC歸屬調(diào)整后，調(diào)整過的BSC歸屬到昆明SGSN14流量模型如圖二，而未被調(diào)整的BSC仍歸屬到SGSN3流量模型仍為圖一。因SGSN14的主用板卡接CE5，備用板卡接CE6，且配置的VRRP組CE5為主用，CE6為備用；曲靖CE1/2上為每臺(tái)BSC配置一個(gè)單獨(dú)的VRRP組，且每個(gè)VRRP組的主用均為CE1，備用均為CE2。故此時(shí)SGSN-BSC間上下行流量路徑一致，具體為：下行流量方向：華為SGSN14昆明CE5昆明AR1昆明BR1曲靖AR1曲靖CE1諾西BSCxx。上行流量方向：諾西BSCxx曲靖CE1曲靖AR1昆明BR1昆明A

21、R1昆明CE5華為SGSN14。2、鏈路檢查：IP專業(yè)經(jīng)從BSC至SGSN做端到端各鏈路排查，發(fā)現(xiàn)在曲靖AR2-PS域CE2間GE鏈路有丟包。從CE上持續(xù)觀測該鏈路，發(fā)現(xiàn)忙時(shí)流量最大為15%且該鏈路兩端互ping測試有嚴(yán)重丟包，忙時(shí)另一平面曲靖CE1-AR1平均流量為12%，由此按照每鏈路1G帶寬計(jì)算，忙時(shí)曲靖GB業(yè)務(wù)流量為270M左右不考慮傳輸開銷等。初步疑心因鏈路質(zhì)差引起CE2-AR2間丟包。為了先恢復(fù)數(shù)據(jù)業(yè)務(wù)，考慮先將曲靖AR2-CE2間的下行流量上行都走了奇數(shù)平面也調(diào)整至AR1-CE1奇數(shù)平面。調(diào)整方法是修改曲靖AR2-CE2間的ospf cost值從10調(diào)整為10000。此修改后觀察

22、雙平面流量，在曲靖AR2-CE2間流量逐漸減少的故障案例一曲靖CE-AR間傳輸帶寬配置缺失引起的流量擁塞問題2過程中對該鏈路進(jìn)行持續(xù)ping測試，發(fā)現(xiàn)該鏈路在流量小于5%以后直到無流量承載情況下，鏈路不再丟包，從而證明曲靖AR2-曲靖CE2整條傳輸鏈路上無故障點(diǎn)，鏈路質(zhì)量正常。此時(shí)曲靖CE1-AR1承載了曲靖的所有GB流量，利用率為42%左右，即曲靖忙時(shí)正常流量應(yīng)為400M以上，與之前雙平面承載時(shí)總流量為270M左右相比，流量立即上漲了130M以上，該原因即為曲靖進(jìn)行局部BSC調(diào)整后整體PS流量上升30%的原因。 但之后再將該鏈路cost值改回10后，流量倒回AR2-CE2鏈路并到一定值時(shí)又開

23、始丟包，并且最大流量值只能到達(dá)15%即130M左右后無法上漲曲靖忙時(shí)正常流量應(yīng)為400M以上，而丟包時(shí)雙平面相加只有200多M流量被傳送，流量喪失嚴(yán)重。至此，我們推斷，該問題點(diǎn)在于曲靖AR2-CE2間實(shí)際配置的傳輸帶寬可能僅為155M左右因?yàn)榱髁孔罡咧荒艿?5%，即150M左右，未到達(dá)最初網(wǎng)絡(luò)規(guī)劃建設(shè)時(shí)需求的帶寬1GE。故當(dāng)該鏈路流量未到達(dá)155M瓶頸時(shí)我們無法發(fā)現(xiàn)該問題，在2021年曲靖PS域數(shù)據(jù)業(yè)務(wù)開展過程中該鏈路上流量超過155M帶寬限制時(shí)出現(xiàn)擁塞及嚴(yán)重丟包，進(jìn)而影響了用戶 上網(wǎng)體驗(yàn)。【問題解決】 找到了問題癥結(jié)點(diǎn)為曲靖CE2-AR2間傳輸帶寬配置問題，經(jīng)核實(shí)，因CE2與AR2為異局址，

24、中間經(jīng)過了曲靖本地網(wǎng)傳輸SDH系統(tǒng)，在CE入網(wǎng)之初，本地傳輸并未按規(guī)劃需求配置為1GE帶寬，而只配置了一個(gè)VC4，即155M，進(jìn)而留下了隱患。曲靖本地網(wǎng)重新對AR2-CE2間調(diào)度配置新的傳輸OTN GE電路，解決了流量受限問題。經(jīng)后續(xù)流量倒回測試，此時(shí)AR2-CE2間流量到達(dá)28%以上。故障案例一曲靖CE-AR間傳輸帶寬配置缺失引起的流量擁塞問題3故障案例二諾西Flexi-BSC Gb上下行流量路徑不一致時(shí)閃斷問題1【問題描述】2021年春節(jié)節(jié)前網(wǎng)絡(luò)評估中發(fā)現(xiàn)承載GPRS核心網(wǎng)SGSN/GGSN的昆明CE1及CE5上行至昆明AR1的流量帶寬利用率已超過70%以上峰值到達(dá)100%，為保證用戶 上

25、網(wǎng)感知，1月18日凌晨對局部SGSN的GB流量通過vrrp協(xié)議實(shí)現(xiàn)主備接入從奇數(shù)CE疏導(dǎo)至偶數(shù)CE上行修改vrrp優(yōu)先級，該調(diào)整是IP網(wǎng)中最常見的一種流量疏導(dǎo)方式。調(diào)整過的SGSN對應(yīng)的紅河、曲靖、玉溪三地市的諾西BSC側(cè)的GB入流量和出流量不對稱圖1，此后發(fā)現(xiàn)三個(gè)地市局部諾西BSC出現(xiàn)業(yè)務(wù)閃斷，GB-link閃斷告警量突增。圖1 調(diào)整的SGSN與地市BSC間GB流量上下行不一致【故障分析】1、當(dāng)SGSN與BSC之間的上下行流量路徑相同時(shí)，上述地市所有BSC與SGSN間GB業(yè)務(wù)均正常；當(dāng)上下行流量路徑不一致時(shí)，局部BSC業(yè)務(wù)閃斷故障出現(xiàn)。2、承載網(wǎng)為雙平面組網(wǎng)，提供負(fù)荷分擔(dān)的同時(shí)也起到路由和業(yè)

26、務(wù)的主備保護(hù)，CE下掛業(yè)務(wù)網(wǎng)元均以主備方式配置VRRP組，如本例的BSC及SGSN均通過主備方式接入，CE上提供VRRP虛網(wǎng)關(guān)接入CE。因此當(dāng)某一鏈路中斷時(shí)有冗余備份鏈路提供倒換和保護(hù)，且業(yè)務(wù)應(yīng)該實(shí)現(xiàn)毫秒級別的切換，不影響用戶感知。所以BSC與SGSN之間的GB業(yè)務(wù)雙向路由怎么變化都不應(yīng)該受影響。3、分析告警發(fā)現(xiàn)，當(dāng)雙向路由不一致的情況出現(xiàn)時(shí)，大多數(shù)BSC GB業(yè)務(wù)未受影響，出現(xiàn)業(yè)務(wù)閃斷故障的均是諾西flexi-BSC，所以初步定位為型號flexi-BSC與SGSN之間的上層協(xié)議(TCP層以上)是否存在兼容性問題?！竟收咸幚怼繕I(yè)務(wù)應(yīng)急恢復(fù)：通過修改CE上配置的VRRP協(xié)議優(yōu)先級的方式，將SGS

27、N主用上行到偶數(shù)平面對應(yīng)的玉溪、紅河、曲靖三個(gè)地市15臺(tái)flexi型號BSC的上行主用也調(diào)整到偶數(shù)CE，形成圖3-14流量模式，暫時(shí)躲避GB-link閃斷問題。分析定位：1、當(dāng)進(jìn)行流量路徑調(diào)整，或網(wǎng)絡(luò)中某鏈路故障時(shí)，均可能出現(xiàn)Gb業(yè)務(wù)其他類型的VPN業(yè)務(wù)也一樣上下行路徑不一致的情況。故1中的調(diào)整不能根本解決問題。需要進(jìn)一步排查flexi-BSC與CE對接兼容性問題。云南共有82臺(tái)flexi BSC，占比諾西全網(wǎng)BSC 的29.6%，本次將調(diào)整局部SGSN主備后涉及雙向流量路徑不一致的15臺(tái)flexi BSC也調(diào)整了主備，占該版本的18.3%。因此以這15臺(tái)BSC為排查對象。2、為定位問題，于夜

28、間選取紅河BSC進(jìn)行故障重現(xiàn)。情況與第一次調(diào)整時(shí)一致，當(dāng)將紅河flexi BSC上行的主用調(diào)回奇數(shù)CE后，故障立即重現(xiàn)，并及時(shí)抓取CE側(cè)及BSC側(cè)日志信息。GB 鏈路是PCU 發(fā)送一個(gè)單播的 NSIP_ALIVE 報(bào)文到 SGSN。對NSIP_ALIVE 報(bào)文的回應(yīng)是由SGSN發(fā)送一個(gè)單播的 NSIP_ALIVE_ACK 報(bào)文到 PCU 來維持的。GB鏈路閃斷是因?yàn)?PCU 暫時(shí)收不到由 SGSN 發(fā)出的 NSIP_ALIVE_ACK 報(bào)文。從BSC側(cè)日志可發(fā)現(xiàn)NSIP_ALIVE_ACK有喪失，如圖2所示圖3 將涉及的flexi-BSC的上行主用調(diào)至偶數(shù)CE 圖2 BSC測日志故障案例二諾西

29、Flexi-BSC Gb上下行流量路徑不一致時(shí)閃斷問題2分析得知：Gb上行流量通過BSC內(nèi)連接CE1的SWU2流出如以下圖4中黃色虛線，下行流量通過與CE2連接的SWU3流入。SWU2、SWU3均為BSC內(nèi)嵌的二層交換機(jī)ESB24，且部署了播送抑制功能，其學(xué)習(xí) PCU 的MAC地址表aging-time為5分鐘，而CE的MAC地址aging-time為20分鐘一般路由器的默認(rèn)值，各廠家一致。由上述，在上下行路徑非對稱模型下，flexi BSC內(nèi)ESB24間mac地址表存在5分鐘更新時(shí)間到而刪除的情況，且因?yàn)锽SC內(nèi)部署了播送抑制功能，故此時(shí)ESB24上mac地址表消失。當(dāng)CE2在20分鐘更新時(shí)

30、間到后發(fā)一次ARP請求mac地址請求報(bào)文到BSC內(nèi)PCU時(shí)，SWU3才回送一個(gè) Arp reply報(bào)文到CE2，所以SWU3的 MAC 地址表每20分鐘才更新一次。期間存在一段時(shí)間內(nèi)無mac地址表的情況，導(dǎo)致下行流量流入SWU3后因查詢不到mac地址表而丟包，進(jìn)而引起Gb業(yè)務(wù)閃斷。故障案例二諾西Flexi-BSC Gb上下行流量路徑不一致時(shí)閃斷問題3圖4 BSC內(nèi)部結(jié)果解決思路：對于上下行流量非對稱與ESB24的DLF播送抑制功能存在沖突，在此流量模型下為保證flexi BSC Gb業(yè)務(wù)正常，可以采用如下兩種方案：1屏蔽ESB24的DLF播送抑制功能。但是由此將給網(wǎng)絡(luò)帶來很大的平安隱患，存在播

31、送泛洪現(xiàn)象，從而占用大量不必要帶寬，同時(shí)造成PCU的負(fù)荷沖擊，影響設(shè)備的正常工作；諾西不推薦使用。2設(shè)置SWU中的Mac-aging-timer大于或等于CE上的MAC-aging-timer，此方案理論上可行，但是沒有經(jīng)過測試，建議先在某臺(tái)BSC上經(jīng)過測試驗(yàn)證后再大規(guī)模修改使用?！咎幚斫Y(jié)果】將flexi BSC的mac地址表更新時(shí)間aging-time由5分鐘改為20分鐘，以防止5分鐘計(jì)時(shí)到mac地址表被刪除，又因BSC內(nèi)播送抑制功能而導(dǎo)致ESC24無法學(xué)習(xí)到mac地址，造成目的不可達(dá)而丟包。因昆明的flexi型號BSC歸屬的SGSN組成了pool，且pool內(nèi)只有一臺(tái)SGSN與昆明BSC有

32、上下流量不一致情況，其余兩臺(tái)未修改SGSN主備接入的仍與BSC間為雙向路徑一致，此情況下，昆明的flexi BSC GB鏈路會(huì)有告警，但業(yè)務(wù)不受影響。故首先選取昆明三臺(tái)flexi-BSC進(jìn)行修改測試，觀察一周未重現(xiàn)告警。其次再選取曲靖及紅河flexi-BSC修改aging-time并測試驗(yàn)證，故障未重現(xiàn)。之后對全網(wǎng)flexi-BSC修改aging-time為20分鐘，并上報(bào)集團(tuán)建議全國躲避?！景咐c(diǎn)評】網(wǎng)絡(luò)拓?fù)淙绻l(fā)生變化，建議事先通知各業(yè)務(wù)廠家，進(jìn)行拓?fù)湓u估，驗(yàn)證和可行性測試，測試通過前方可在現(xiàn)網(wǎng)進(jìn)行應(yīng)用。故障案例二諾西Flexi-BSC Gb上下行流量路徑不一致時(shí)閃斷問題4四、“規(guī)劃、建

33、設(shè)、維護(hù) 端到端研究Gb/Iu-ps上行流量方向：Gb/Iu-ps下行流量方向：Gi/GN流量出/入流量方向： 組網(wǎng)說明：IP承載網(wǎng)按雙平面+對稱冗余組網(wǎng)，業(yè)務(wù)網(wǎng)元以主備方式或負(fù)荷分擔(dān)方式接入CE，從而實(shí)現(xiàn)雙平面流量的主備保護(hù)及流量分擔(dān)。 以2/3G 上網(wǎng)流量分析為例：通過分主用上行、主用下行、備用上行、備用下行四個(gè)鏈路方向，以及無線側(cè)、核心網(wǎng)側(cè)、骨干網(wǎng)側(cè)幾個(gè)維度分析IP專網(wǎng)對 端到端上網(wǎng)業(yè)務(wù)流量及網(wǎng)絡(luò)配置需求。四、規(guī)劃、建設(shè)、維護(hù)端到端研究網(wǎng)絡(luò)流量評估方法模型 全網(wǎng)各級鏈路峰值流量分析1、BSC、RNC接入CE流量分析主用平面 BSC接入CE方式：各廠家BSC根本以1+1主備方式雙上行接入C

34、E1/2。RNC均以1G+1G光口或2G+2G光口以“負(fù)荷分擔(dān)方式接入CE對，即各RNC接入CE總帶寬為2G或4G。 通過提取一定時(shí)間內(nèi)BSC/RNC至CE的鏈路峰值流量，計(jì)算各地市PS域業(yè)務(wù)量大小。以BSC的計(jì)算為例RNC同理，如圖： 一地市無線接入側(cè)分析2、無線側(cè)各地市2/3G總流量分析及其對CE-AR帶寬的利用率主用平面1各地市2/3G上行峰值流量和：統(tǒng)計(jì)各地市2/3G上行峰值流量總和，圖左圖2中的藍(lán)色曲線，最大的為昆明CE3，為407.71Mbps，其次是大理158.82Mbps。流量占用CE出口至AR的帶寬利用率均未超過15%。即CE-AR屬于輕載。2各地市2/3G下行峰值流量和：統(tǒng)

35、計(jì)各地市2/3G下行峰值流量總和，圖左圖3中的藍(lán)色曲線，最大的為昆明CE3，為941.42Mbps，其次是曲靖898.25Mbps。流量占用CE出口至AR的帶寬利用率均未超過45%?？紤]擴(kuò)容。二GPRS核心網(wǎng)接入側(cè)分析 目前全省共有4對CE用于GPRS核心網(wǎng)元接入各類業(yè)務(wù)含GB/IU/GI/GN/PCC等，為昆明CE1/2及玉溪CE3/4諾西GPRS、昆明CE5/6及CE11/12華為GPRS。CE對同時(shí)接入本地AR對及通過FW防火墻接入CMNET。1、各CE下掛SGSN的2/3G總流量及其占用CE至AR帶寬情況分析 提取9、10月中屢次采集CE-SGSN的峰值最大值，計(jì)算出各CE下掛SGSN

36、的Gb/IU總流量，并用此流量值計(jì)算其對CE-AR帶寬的占比，CE-AR鏈路均處于輕載。 鏈路帶寬Mbps下行流量Mbps上行流量Mbps下行帶寬利用率%上行帶寬利用率%昆明CE1-AR1100001517.16 568.87 15.17 5.69 昆明CE2-AR2100001509.51 202.90 15.10 2.03 昆明CE5-AR110000855.41 311.70 8.55 3.12 昆明CE6-AR2100001230.80 355.47 12.31 3.55 昆明CE11-AR1100003095.22 1044.71 30.95 10.45 昆明CE12-AR21000

37、0609.62 162.91 6.10 1.63 玉溪CE3-AR1100001116.85 331.57 11.17 3.32 玉溪CE4-AR2100000.01 15.77 0.00 0.16 二昆明玉溪GPRS核心網(wǎng)接入側(cè)分析 2、CE至防火墻GI/GN流量分析鏈路帶寬Mbps入峰值流量(下行/Mbps)出峰值流量(上行/Mbps)下行帶寬利用率%上行帶寬利用率%昆明CE1-FW10000283361428.336.14昆明CE5-FW200003406193317.039.665昆明CE11-FW10000333282833.328.28玉溪CE3-FW2000010663575.3

38、31.785昆明CE2-FW100000000昆明CE6-FW200000000昆明CE12-FW100000000玉溪CE4-FW200000000 提取9、10月中屢次采集峰值最大值，各CE至防火墻的上、下行流量及帶寬利用率如表中所示。按照目前帶寬配置，鏈路均處于輕載。 注：因防火墻特性配置，GI流量只通過奇數(shù)平面CE-FW疏導(dǎo)，故偶數(shù)CE-FW的流量幾乎為0.3、無線側(cè)與核心網(wǎng)側(cè)上、下行流量比較 在前面分析數(shù)據(jù)的根底上，選取9、10月中同時(shí)段峰值流量數(shù)據(jù)，歸納計(jì)算出：1全省16地市無線側(cè)BSC/RNC的Gb/IU上、下行峰值總流量，2昆明、玉溪GPRS核心網(wǎng)側(cè)SGSN的Gb/IU上、下行

39、峰值總流量。比照無線側(cè)及核心網(wǎng)兩側(cè)流量值根本吻合。下行峰值流量Mbps上行峰值流量Mbps核心網(wǎng)側(cè)Gb/IU總流量9934.57 2993.91 無線側(cè)全省Gb/IU總流量10286.23 2669.36 流量分析的意義：通過網(wǎng)絡(luò)流量分析和評估，后端部門推動(dòng)前端部門，指導(dǎo)規(guī)劃建設(shè)，支撐前端運(yùn)營；另外從維護(hù)方面也能預(yù)警網(wǎng)絡(luò)帶寬瓶頸問題，及時(shí)擴(kuò)容，保障網(wǎng)絡(luò)平穩(wěn)。維護(hù)、優(yōu)化規(guī)劃、建設(shè)流量分析支撐、指導(dǎo)自查、預(yù)警 總結(jié)：五、跨專業(yè)“業(yè)務(wù)端到端研究五、跨專業(yè)“業(yè)務(wù)端到端研究1、支撐監(jiān)控監(jiān)控人員專業(yè)人員 編寫告警監(jiān)控指導(dǎo)手冊 每周將更新的CE設(shè)備面板信息同步至監(jiān)控 每季度一次培訓(xùn) 及時(shí)處理監(jiān)控人員反響的告

40、警及故障問題 CE設(shè)備配置訪問權(quán)限賬號給監(jiān)控人員，并教授常用的簡單查詢指令培訓(xùn)指導(dǎo)、監(jiān)控前移故障咨詢、轉(zhuǎn)交處理五、跨專業(yè)“業(yè)務(wù)端到端研究2、“傳輸-承載-業(yè)務(wù)聯(lián)動(dòng)配合 CS域或PS域各類業(yè)務(wù)端到端互通，需基于業(yè)務(wù)側(cè)上層運(yùn)用數(shù)據(jù)例如SCTP路徑可達(dá)、IP層路由可達(dá)、物理層鏈路可用等。因此，在核心網(wǎng)或無線網(wǎng)業(yè)務(wù)發(fā)生告警或故障時(shí)，應(yīng)根據(jù)實(shí)際的影響范圍和告警內(nèi)容，從業(yè)務(wù)層面、IP網(wǎng)層面、傳輸層面進(jìn)行端到端聯(lián)合分析。轉(zhuǎn)變維護(hù)思路，建立從各專業(yè)的孤立維護(hù)轉(zhuǎn)變?yōu)橐詷I(yè)務(wù)端到端感知、全程全網(wǎng)為導(dǎo)向的維護(hù)模式。 以業(yè)務(wù)側(cè)日常常見的一大類告警為SCTP路徑不可達(dá)告警為例，分析發(fā)現(xiàn)主要為以下幾種情況之一：1因傳輸故障

41、導(dǎo)致IP承載網(wǎng)省干鏈路閃斷引起的網(wǎng)元端到端SCTP不可達(dá)；2因某一網(wǎng)元側(cè)異常引起的到對端網(wǎng)元及涉及的pool內(nèi)網(wǎng)元間SCTP不可達(dá)。3IP承載網(wǎng)CE設(shè)備板卡等故障或轉(zhuǎn)發(fā)異常引起的業(yè)務(wù)閃斷。 根據(jù)日常發(fā)生過的大量SCTP路徑不可達(dá)告警處理方式，根據(jù)由業(yè)務(wù)網(wǎng)元IP承載網(wǎng)傳輸從上而下、由點(diǎn)到面的處理思路，總結(jié)出處理步驟如下：案例分析大量異局址多個(gè)地市網(wǎng)元上報(bào)SCTP路徑不可達(dá)告警問題1【問題描述】2021年7月30日下午14:53監(jiān)控室反映核心網(wǎng)網(wǎng)管監(jiān)控平臺(tái)上報(bào)大量SCTP路徑失敗告警SCTP PATH FAILURE，告警網(wǎng)元涉及多個(gè)地市的MSS及MGW。告警條目達(dá)582條。15:11繼續(xù)發(fā)生德宏

42、多個(gè)MGW上報(bào)SCTP路徑失敗告警，告警量達(dá)152條。此類告警為業(yè)務(wù)網(wǎng)元常見的一類告警包括CS域及PS域業(yè)務(wù)，其特性為：同一時(shí)間點(diǎn)出現(xiàn)大面積大量同類型告警，涉及不同地市不同CE下掛的多個(gè)網(wǎng)元，均為SCTP路徑失敗告警。此類告警為信令鏈路閃斷告警，對話音業(yè)務(wù)無影響。局部告警截圖如下： 圖一、兩個(gè)時(shí)間點(diǎn)網(wǎng)元告警信息【原因分析】根據(jù)告警內(nèi)容和范圍，因?yàn)橥粫r(shí)間點(diǎn)上報(bào)的告警涵蓋紅河、楚雄、德宏、臨滄、版納、普洱、曲靖、昆明等多個(gè)地市的軟交換網(wǎng)元，且涉及的MSS不是同一個(gè)POOL內(nèi)，由此可初步判斷，該告警原因可能是IP承載網(wǎng)省干AR-BR間鏈路閃斷引起?！咎幚磉^程】IP承載網(wǎng)專業(yè)檢查BR、AR上日志信息，重點(diǎn)查看核心網(wǎng)元兩次出SCTP告警時(shí)間點(diǎn)時(shí)的鏈路是否閃斷。根據(jù)日志信息可知，14:53分BR1-玉溪AR1鏈路閃斷10S，15:11分BR1至麗江AR1、保山AR1、怒江AR1、德宏AR1，BR2至大理AR2、迪慶AR2等共6條省干鏈路出現(xiàn)過10S左右閃斷。因BR1/2各地市AR1/2