WebLogic Server Cluster組播故障處理總結(jié).docx

WebLogic Server Cluster組播故障處理總結(jié)問(wèn)題描述WebLogic Server 事例在監(jiān)聽或接收訊息時(shí)有問(wèn)題，或者在 BEA WebLogic Server 之間通常都無(wú)法成功使用組播功能。故障排除請(qǐng)注意，并非下面所有工作都需要完成。有些問(wèn)題僅通過(guò)執(zhí)行幾項(xiàng)工作就可以解決?？焖冁溄Y(jié)l 為什么發(fā)生此問(wèn)題？l 組播地址/端口問(wèn)題l 不同 WLS 版本的組播設(shè)定差異l 物理問(wèn)題/共享地址問(wèn)題l 重復(fù) IP 地址l 測(cè)試組播/錯(cuò)誤通信l 檔案描述元問(wèn)題l Nsswitch 設(shè)定l 組播超時(shí)l 叢集心跳信號(hào)偵測(cè)問(wèn)題l 叢集組播風(fēng)暴問(wèn)題l 多宿主設(shè)定l 背景信息l 除錯(cuò)組播為什么發(fā)生此問(wèn)題？一般而言，此問(wèn)題是由于 BEA WebLogic Server 中組播的設(shè)定問(wèn)題引起的。另外，網(wǎng)絡(luò)問(wèn)題（比如在該計(jì)算機(jī)上沒(méi)有安裝組播）也會(huì)造成此問(wèn)題。使用下列檢查清單檢查組播的設(shè)定、其他可能存在的問(wèn)題和一般問(wèn)題。組播地址/端口問(wèn)題組播地址出現(xiàn)問(wèn)題是叢集無(wú)法啟動(dòng)或者服務(wù)器連結(jié)叢集失敗的最常見原因之一。每個(gè)叢集需要一個(gè)組播地址。組播地址可以是介于 和 55 之間的 IP 號(hào)，或者是具有在該范圍內(nèi)的 IP 地址的主機(jī)名。如果組播地址不正確，您很有可能看到以下錯(cuò)誤： 無(wú)法為叢集建立組播套接字 組播套接字傳送錯(cuò)誤 組播套接字接收錯(cuò)誤若要檢查地址/端口問(wèn)題：1. 使用 WebLogic Server 控制臺(tái)檢查叢集的組播地址和端口。2. 檢查 config.xml 中的組播信息，或通過(guò)控制臺(tái)檢查是否有錯(cuò)別字、拼寫錯(cuò)誤等。特別檢查組播的地址和端口。有關(guān)組播和故障排除的詳細(xì)信息，參見：/wls/docs70/ConsoleHelp/domain_cluster_config_multicast.html#1104722不同 WLS 版本的組播設(shè)定差異在 WLS 6.1 和 WLS 7.0 之間存在影響組播地址和端口的網(wǎng)絡(luò)設(shè)定差異。在以下網(wǎng)址檢視 WebLogic Server 7.0 中為組播提供的網(wǎng)絡(luò)設(shè)定新功能列表：/wls/docs70/admin_domain/network.html#1089150，然后與 WLS 6.x 做一些比較： 6.x 版：在叢集中，從每個(gè)服務(wù)器的監(jiān)聽埠設(shè)定復(fù)制組播埠號(hào)。因?yàn)閰布乃谐蓡T必須使用相同的組播地址和端口號(hào)，所以要求叢集中的所有服務(wù)器使用相同的監(jiān)聽埠。 7.x 版：叢集的組播設(shè)定不再與單臺(tái)服務(wù)器的網(wǎng)絡(luò)設(shè)定捆綁。相反，設(shè)定獨(dú)立于叢集成員所用埠號(hào)的叢集組播埠號(hào)。您還可以確定每個(gè)叢集服務(wù)器應(yīng)當(dāng)將哪一個(gè) NIC 用于組播通信。物理問(wèn)題/共享地址問(wèn)題1. 驗(yàn)證網(wǎng)絡(luò)鏈接沒(méi)有任何物理問(wèn)題。2. 檢查沒(méi)有任何其他應(yīng)用程序正在使用叢集組播地址。備注：一種檢查方法是使用特定操作指令檢視該地址/端口是否正在使用，比如 netstat。重復(fù) IP 地址通過(guò)檢查確保沒(méi)有把重復(fù) IP 地址分配給多臺(tái)計(jì)算機(jī)。測(cè)試組播/錯(cuò)誤通信1. 如果您收到 Unable to send service announcement（無(wú)法傳送服務(wù)公告）訊息，這指示一個(gè)一般網(wǎng)絡(luò)問(wèn)題或 DNS設(shè)定錯(cuò)誤。叢集服務(wù)器通過(guò)組播互相通信，并且必須共享相同（專用的）組播地址。在 WLS 8.1 中，叢集能夠智慧地刪除不與其特定域和叢集關(guān)聯(lián)的組播訊息。因此在叢集正常工作時(shí)，如果其他資源正在組播地址上廣播，它必須執(zhí)行額外工作才能接收訊息然后將其拋棄。運(yùn)行 utils.MulticastTest實(shí)用程序以驗(yàn)證組播正在工作，或者是否觀察到不同叢集正在互相進(jìn)行會(huì)話而這種情況不是所需要的。 有關(guān)詳細(xì)信息，請(qǐng)參閱 /wls/docs70/adminguide/utils.html#1117048。范例：在 MachA 上運(yùn)行：java utils.MulticastTest -N ginger -A -P 7126在 MachB 上運(yùn)行：java utils.MulticastTest -N fred -A -P 7126在 MachC 上運(yùn)行：java utils.MulticastTest -N smith -A 0 -P 7126在 MachD 上運(yùn)行：java utils.MulticastTest -N jones -A 0 -P 7126您應(yīng)當(dāng)只能看到在第一個(gè)組合中交換的“fred”和“ginger”的訊息。相反，您應(yīng)當(dāng)只能看到在第二個(gè)組合中交換的“smith”和“jones”的訊息。如果您看到在這些組合之間交換的訊息或者從其他行程根本看不到訊息，則出現(xiàn)了網(wǎng)絡(luò)問(wèn)題。2. 如果組播測(cè)試失敗，則檢查是否使用了 Primary 地址（WLS 需要使用 Primary 地址）。檢查是否正確安裝和使用 DNS。1. 獲取 /usr/sbin/ifconfig -a信息（必須作為 root 用戶運(yùn)行才能獲取 MAC 地址）并檢查多宿主環(huán)境中每個(gè)計(jì)算機(jī)的 MAC 地址。 如果地址相同，那么可能有問(wèn)題。 您應(yīng)當(dāng)確保地址是唯一的（尤其在 Solaris 上）。 否則，您會(huì)遇到許多問(wèn)題。 一個(gè)解決方法是將通過(guò)一個(gè)適配卡組成多宿主環(huán)境的所有 Solaris 計(jì)算機(jī)集中在一起。 另一個(gè)方法是再添加一個(gè)接口卡。這是 Solaris 中存在的已知問(wèn)題。2. 以下范例僅針對(duì) Solaris，在其他平臺(tái)上不需要。在 Solaris 和 SunOS 系統(tǒng)上，以太網(wǎng)設(shè)備一般稱為 le0 或 ie0。為了尋找以太網(wǎng)設(shè)備的 MAC 地址，通過(guò)利用 su 首先成為 root用戶。然后鍵入 ifconfig -a并尋找相關(guān)信息。 例如：:# ifconfig -ale0: flags=863 inet 44 netmask ffffff00 broadcast 55ether 8:0:20:f:c2:f備注：Solaris 和 SunOS 刪除通常包含在 MAC 地址中最前面的 0。 在此計(jì)算機(jī)中，MAC地址是 08:00:20:0f:c2:f8 請(qǐng)參閱 /findmac.htm檔案描述元問(wèn)題1. 檢查檔案描述元 (FD) 的數(shù)量。根據(jù)不同的操作系統(tǒng)，這可能是一個(gè)已知問(wèn)題。例如，此問(wèn)題會(huì)在 Solaris 上發(fā)生，而原因是系統(tǒng)打開過(guò)多的檔案。Sun 指出這是因?yàn)橛?fopen限制。2. 您可以執(zhí)行象 lsof 這樣的指令，并了解在出現(xiàn)問(wèn)題時(shí)行程已經(jīng)打開了磁盤中多少個(gè)檔案（不必?fù)?dān)心套接字檔案描述元）。3. 如果這成為一個(gè)問(wèn)題，則增加系統(tǒng)中檔案描述元的數(shù)量。系統(tǒng)管理員需要為計(jì)算機(jī)解決這一問(wèn)題。Nsswitch 設(shè)定檢查計(jì)算機(jī)上的 /etc/nsswitch.conf檔案。您可能需要在服務(wù)器上將 nsswitch.conf 檔案中的順序更改為“檔案，DNS，NIS”以避免 UnknownHostExceptions隨機(jī)發(fā)生（即使在服務(wù)器沒(méi)有大量負(fù)載時(shí)它也會(huì)發(fā)生）。下面是 nsswitch.conf 的 man 頁(yè)的一部分：備注：在每個(gè)使用 nsswitch.conf的行程內(nèi)，整個(gè)檔案僅讀取一次；如果以后更改檔案，則行程將繼續(xù)使用原來(lái)的設(shè)定。在Solaris 中，不可以靜態(tài)使用 NSS 服務(wù)來(lái)鏈結(jié)程序。在 Linux 中，這不是一個(gè)問(wèn)題。組播超時(shí)當(dāng)網(wǎng)絡(luò)適配器 (NIC) 出現(xiàn) Failover（就像是斷開網(wǎng)絡(luò)）時(shí)就會(huì)觀察到組播超時(shí)。它會(huì)產(chǎn)生類似以下訊息： 。 如果您遇到這種錯(cuò)誤：1. 嘗試禁用 NIC 的 Failover。2. 檢查 Internet 組管理協(xié)議 (IGMP)。在交換機(jī)上有一個(gè)設(shè)定 igmp snooping，在預(yù)設(shè)情況下為啟用。該設(shè)定用于防止在交換機(jī)上出現(xiàn)組播泛流問(wèn)題。通過(guò)禁用交換機(jī)上的 igmp snooping，WebLogicServer 組播測(cè)試就會(huì)取得成功。3. 檢查待確認(rèn) Windows 2000 設(shè)定，以及IGMP 層級(jí)：密鑰：Tcpip參數(shù)值類型：REG_DWORD - 數(shù)字有效范圍：0,1,2默認(rèn)值：2說(shuō)明：該參數(shù)決定系統(tǒng)在多大程度上支持 IP 組播并參與 Internet 組管理協(xié)議。在層級(jí) 0 上，系統(tǒng)不提供任何組播支持。在層級(jí) 1 上，系統(tǒng)僅可傳送 IP 組播信息包。在層級(jí) 2 上，系統(tǒng)可以傳送 IP 組播信息包并完全參與 IGMP 以接收組播信息包。嘗試將系統(tǒng)設(shè)定為層級(jí) 2。4. 您還可以嘗試設(shè)定 MulticastTTL=32。請(qǐng)參閱 /wls/docs70/ConsoleHelp/domain_cluster_config_multicast.html叢集心跳信號(hào)偵測(cè)問(wèn)題叢集心跳信號(hào)偵測(cè)問(wèn)題也關(guān)系到組播問(wèn)題。設(shè)定 Multicast Send Delay.請(qǐng)參閱 /wls/docs70/ConsoleHelp/domain_cluster_config_multicast.html%20如果已經(jīng)設(shè)定了組播延遲但沒(méi)有解決此問(wèn)題，則檢查下面兩個(gè)作為接收和傳輸組播信息包的 udp 緩沖區(qū)大小的作業(yè)系統(tǒng)參數(shù)。如果 udp_xmit_hiwat 和 udp_recv_hiwat的 udp 設(shè)定被設(shè)定為 8K，而組播信息包大小設(shè)定為 WebLogic 允許的最大值 (32K)，這就可能會(huì)出現(xiàn)問(wèn)題。如果下面兩個(gè)屬性（udp_xmit_hiwat 和 udp_recv_hiwat）都被設(shè)定為 64K，（顯然保持 WebLogic 的組播信息包大小為其最大值 32K），則問(wèn)題就得到了解決。叢集組播風(fēng)暴問(wèn)題如果您遇到組播風(fēng)暴，則需要設(shè)定組播緩沖區(qū)大小。范例情況：故障癥狀：當(dāng)組播網(wǎng)絡(luò)通信量占滿網(wǎng)絡(luò)時(shí)，叢集中的一個(gè)事例將終止叢集 servlet 服務(wù)。發(fā)生此問(wèn)題的原因：?jiǎn)?dòng) WLS 時(shí)，就發(fā)現(xiàn) 6 mg 數(shù)據(jù)正在傳送給其他事例，這些事例反過(guò)來(lái)繼續(xù)傳送該數(shù)據(jù)，結(jié)果數(shù)據(jù)量不斷增大！關(guān)于組播風(fēng)暴的背景信息：請(qǐng)參閱 /wls/docs70/cluster/features.html#1031231設(shè)定組播緩沖區(qū)大?。嚎梢岳?UNIX ndd實(shí)用程序來(lái)設(shè)定 TCP/IP 內(nèi)核參數(shù)。udp_max_buf參數(shù)針對(duì) UDP 套接字控制傳送和接收緩沖區(qū)的大?。ㄒ宰止?jié)計(jì)）。udp_max_buf的適當(dāng)值因不同的部署而異。如果您遇到組播風(fēng)暴，可以執(zhí)行以下操作：1. 在更改 udp_max_buf之前，請(qǐng)閱讀“Solaris Tunable Parameters Reference Manual”（Solaris 可調(diào)參數(shù)參考手冊(cè)）的“TCP/IP Tunable Parameters”（TCP/IP 可調(diào)參數(shù)）一章之“UDP Parameters with Additional Cautions”（UDP 參數(shù)的額外注意事項(xiàng)）小節(jié)中的 Sun警告說(shuō)明，該參考手冊(cè)可從以下網(wǎng)址得到：/?p=/doc/806-6779/6jfmsfr7o&。2. 除非有必要，否則不要更改 udp_max_buf。3. 將 udp_max_buf的值增加到 32K，并評(píng)估該更改的影響。4. 如果您再次發(fā)現(xiàn)組播風(fēng)暴，可以嘗試將緩沖區(qū)大小增加到 32K，同時(shí)還使用 WebLogic 指數(shù)延遲參數(shù)。宿主設(shè)定如果主計(jì)算機(jī)采取多宿主設(shè)定，則確保您已經(jīng)通過(guò) WebLogic Server 控制面板設(shè)定了 UnixMachine事例，并為每個(gè)伺服器事例指定一個(gè) InterfaceAddress以便處理組播通信量。 UnixMachine /wls/docs61/ConsoleHelp/unixmachine.html weblogic.management.configuration- 界面 ServerMBean/wls/docs61/javadocs/weblogic/management/configuration/ServerMBean.html#getInterfaceAddress()背景信息l 叢集監(jiān)視：o 對(duì)于 WLS 8.1：/wls/docs81/adminguide/monitoring.html#1036208o 對(duì)于 WLS 7.0：/wls/docs70/ConsoleHelp/clusters.html#1000317l 有關(guān)叢集的設(shè)定選項(xiàng)：/wls/docs81/cluster/best.htmll 叢集中的組播通信：/wls/docs70/cluster/features.html#1006151l 使用組播的叢集中的 WLS 心跳信號(hào)偵測(cè)：http:/e-