記一次AD域域管理員密碼更改導(dǎo)致某系統(tǒng)群集管理器故障排查解決過程

1、記一次AD域域管理員密碼更改導(dǎo)致某系統(tǒng)群集管理器故障排查解決過程2015-11-12 0個評論 來源：reedyan 的BLOG收藏我要投稿環(huán)境描述某公司有一套系統(tǒng)，2臺Windows2003系統(tǒng)，采用自帶的群集管理器功能實現(xiàn)雙機熱備功能，正常情況下，服務(wù)器10.1.1.1承載中間件應(yīng)用服務(wù)，服務(wù)器10.1.1.2承載數(shù)據(jù)庫服務(wù)，僅當其中一臺服務(wù)器故障時才會把資源切換至另一臺。系統(tǒng)名稱系統(tǒng)版本IP地址備注S-EIP-APPWindows2003ENTSP2采用Windows2003自帶的群集管理器實現(xiàn)雙機熱備功能S-EIP-DATAWindows2003ENTSP2故障表現(xiàn)某天晚上收到短信告警

2、，系統(tǒng)異常，無法訪問。登錄系統(tǒng)10.1.1.1查看群集管理器狀態(tài)，發(fā)現(xiàn)服務(wù)器10.1.1.2處于脫離群集狀態(tài)。處理和分析過程1）遠程登錄系統(tǒng)10.1.1.1，打開群集管理器，發(fā)現(xiàn)“S-EIP-DATA”數(shù)據(jù)庫服務(wù)器節(jié)點故障，顯示“紅色叉”，活動資源中的“EAIEIP”、“Oracle Services for MSCS”、“OracleOraDb10g_home1TNSListenerFsloracle-vip”狀態(tài)處于“失敗”，群集管理器嘗試把故障自動轉(zhuǎn)移至“S-EIP-APP”節(jié)點上，但故障依舊。2）把10.1.1.2服務(wù)器重啟系統(tǒng)嘗試解決，問題依舊。3）登錄到10.1.1.2服務(wù)器，查看

3、事件日志，發(fā)現(xiàn)告警信息和錯誤信息：“安全系統(tǒng)檢測到一個對服務(wù)器DNS/s-xx1.hq.cxxp.xxx的身份驗證錯誤，來自身份驗證協(xié)議kerbers的失敗代碼為登錄無效，可能原因為無效的用戶名或驗證消息”，如圖：服務(wù)器托管景安最快!【點擊進入】機房位于骨干節(jié)點，用戶訪問網(wǎng)站全國最快。 景安河南最大的多線服務(wù)器托管商！查 看服務(wù)器托管景安最快!【點擊進入】機房位于骨干節(jié)點，用戶訪問網(wǎng)站全國最快。 景安河南最大的多線服務(wù)器托管商！查 看服務(wù)器租用專家-吉特客網(wǎng)絡(luò)【點擊進入】獨立服務(wù)器租用價格低至399元，更有雙線 高防。24小時客服團隊在線，百人售后團隊。查 看選學(xué)校?到江西萬通汽車學(xué)院!【點擊

4、進入】江西選技校職校,就到江西萬通汽車學(xué)院, 技能+學(xué)歷,努力兩年,收獲一生!查 看4）從上圖日志看出，均出現(xiàn)類似“未知的用戶名和密碼錯誤”錯誤。由于Windows2003群集管理器采用AD域進行集中管理，咨詢AD域管理員得知，之前有更改過AD域的管理員密碼。5）此時排查重點為，如何在門戶的群集管理器中修改AD域最新的密碼。經(jīng)過查閱官方KB和網(wǎng)上資料，嘗試修改群集管理器中的AD域的密碼：分別登錄10.1.1.1和10.1.1.2，修改“服務(wù)”中的“cluster service”-登錄-修改密碼，如圖：6）修改“cluster service“服務(wù)中的密碼后，問題依舊，查看群集管理器中的”S-

5、EIP-DATA“中的”O(jiān)racle Services for MSCS“仍為失敗狀態(tài)，查看日志得知，仍是用戶密碼問題，如圖：7）解決辦法：分別修改10.1.1.1和10.1.1.2中的”服務(wù)“中的”oracleMSCSServices“登錄密碼，如圖：8）修改完成后，群集管理器”S-EIP-DATA“活動資源中的”EAIEIP“資源仍處于失敗狀態(tài)，如圖：9）從上圖報錯可以看出，oracle fail safe故障轉(zhuǎn)移群集出現(xiàn)錯誤用戶密碼，按照上面的經(jīng)驗，應(yīng)該為oracle fail safe同樣采用的是AD域的管理員密碼，嘗試修改密碼：登錄10.1.1.2-開始-程序-“oracle-ofs34_home1”-oracle services for MSCS Security Setup，修改新的AD域管理員密碼。10）把所有與AD域管理員帳號相關(guān)的密碼更改成與AD域一致后，問題解決，群集管理器功能正常，業(yè)務(wù)恢復(fù)正常