GBase 8A MPP Cluster 產(chǎn)品培訓(xùn)-日常維護(hù).ppt

GBase8aMPPCluster日常維護(hù) 南大通用數(shù)據(jù)技術(shù)股份有限公司 維護(hù)管理規(guī)范介紹 目錄 2 一 數(shù)據(jù)庫日常維護(hù) 二 問題解答 三 維護(hù)管理規(guī)范介紹 目錄 3 一 數(shù)據(jù)庫日常維護(hù) 二 問題解答 三 檢查集群狀態(tài)查詢磁盤空間監(jiān)控內(nèi)存使用情況帳號 權(quán)限管理系統(tǒng)日志查看 日常維護(hù) 4 集群狀態(tài) 使用gcadmin命令查看正常的集群狀態(tài) 命令行方式 上圖為正常的集群狀態(tài)和節(jié)點(diǎn)狀態(tài) 當(dāng)集群 節(jié)點(diǎn)某個(gè)狀態(tài)不正常時(shí) 相應(yīng)文字會(huì)閃爍 5 集群狀態(tài) 集群的工作狀態(tài)分為 ACTIVED狀態(tài) 當(dāng)前集群中Online的節(jié)點(diǎn)個(gè)數(shù)大于1 2時(shí) 集群總的狀態(tài)為ACTIVED狀態(tài) LOCKED狀態(tài) 當(dāng)前集群中Online的節(jié)點(diǎn)個(gè)數(shù)小于等于1 2時(shí) 集群總的狀態(tài)為LOCKED狀態(tài) 集群不再執(zhí)行SQL操作 集群的模式分為 normal 正常 能執(zhí)行所有SQL操作readonly 只讀 只能執(zhí)行查詢SQL 用于數(shù)據(jù)備份操作 recovery 恢復(fù) 不能進(jìn)行任何SQL操作 用于數(shù)據(jù)恢復(fù)操作 6 節(jié)點(diǎn)狀態(tài) 節(jié)點(diǎn)的工作狀態(tài)分為 Online狀態(tài) 節(jié)點(diǎn)為正常狀態(tài) Offline狀態(tài) 則表示節(jié)點(diǎn)斷線或者集群gcware服務(wù)未啟動(dòng) 各模組進(jìn)程的工作狀態(tài)分為 Open狀態(tài) 該模組進(jìn)程為正常狀態(tài) Close狀態(tài) 則表示該模組進(jìn)程啟動(dòng)失敗或消失 datastate數(shù)據(jù)的一致性狀態(tài)分為 0 該節(jié)點(diǎn)數(shù)據(jù)一致性正常 1 該節(jié)點(diǎn)數(shù)據(jù)一致性已不正常 nodestate節(jié)點(diǎn)的一致性狀態(tài)分為 0 該節(jié)點(diǎn)正常 1 該節(jié)點(diǎn)不正常 長期故障 7 模組進(jìn)程故障排除 節(jié)點(diǎn)的工作狀態(tài)為Offline狀態(tài)排查是否掉電 斷網(wǎng)等硬件 網(wǎng)絡(luò)問題 重新啟動(dòng)該節(jié)點(diǎn)的gcware服務(wù) servicegcwarestart整體集群重啟操作172 17 254 101節(jié)點(diǎn)root用戶Cexecsservicegcwarerestart查看gcware日志分析原因 vi var log corosync log查找lost的記錄 8 模組進(jìn)程close狀態(tài)故障排除 節(jié)點(diǎn)服務(wù)啟動(dòng)后 正常有以下模組進(jìn)程啟動(dòng) gcluster進(jìn)程名 gclusterdgnode進(jìn)程名 gbasedgcsync同步進(jìn)程名 gc sync servergcware進(jìn)程名 corosync監(jiān)控工具 monit元數(shù)據(jù)恢復(fù)工具 gcmetarecover數(shù)據(jù)恢復(fù)工具 gcdatarecover檢查進(jìn)程是否正常命令ps ef grep進(jìn)程名如果有進(jìn)程不存在 需重新啟動(dòng)該節(jié)點(diǎn)gcware服務(wù)servicegcwarerestart servicegcwarerestart會(huì)啟動(dòng)所有模組進(jìn)程 需使用root帳號啟動(dòng)服務(wù) 9 模組進(jìn)程close狀態(tài)故障排除 查看模組進(jìn)程狀態(tài)命令 service進(jìn)程名status單獨(dú)啟動(dòng) 停止各模組進(jìn)程命令如下 需使用root帳號啟動(dòng)服務(wù) gcluster進(jìn)程啟停命令 servicegclusterdstart stopgnode進(jìn)程啟停命令 servicegbasedstart stopgcsync同步進(jìn)程啟停命令 servicegcsyncstart stopgcware進(jìn)程啟停命令 servicecorosyncstart stopmonit監(jiān)控工具啟停命令 servicemonitstart stop元數(shù)據(jù)恢復(fù)工具啟停命令 servicegcmetarecoverstart stop數(shù)據(jù)恢復(fù)工具啟停命令 servicegcdatarecoverstart stop 10 數(shù)據(jù)恢復(fù) datastate狀態(tài)為1的故障排除 當(dāng)某個(gè)節(jié)點(diǎn)執(zhí)行命令失敗后 數(shù)據(jù)恢復(fù)工具可監(jiān)控到錯(cuò)誤日志 然后調(diào)用同步工具 自動(dòng)修復(fù)節(jié)點(diǎn)數(shù)據(jù)不一致的情況 確保各節(jié)點(diǎn)數(shù)據(jù)的一致性 數(shù)據(jù)恢復(fù) datastate狀態(tài)為1的故障排除 說明 同步工具是將safegroup組另一個(gè)好的節(jié)點(diǎn)上的數(shù)據(jù)拷貝到locked節(jié)點(diǎn)上 適用于節(jié)點(diǎn)出現(xiàn)offline狀態(tài) 故障恢復(fù)后需數(shù)據(jù)恢復(fù) 執(zhí)行加載 DDL DML語句導(dǎo)致數(shù)據(jù)狀態(tài)不一致時(shí) Lock節(jié)點(diǎn)發(fā)起自動(dòng)恢復(fù) 集群支持自動(dòng)恢復(fù)方式 恢復(fù)時(shí)先恢復(fù)ddl操作 然后恢復(fù)dml操作 DDL自動(dòng)恢復(fù) datastate狀態(tài)為1的故障排除 DDL自動(dòng)恢復(fù)實(shí)現(xiàn)過程 如果有節(jié)點(diǎn)執(zhí)行DDL操作失敗 gcware會(huì)把失敗記錄寫入到ddlevent日志 Gcmetarecover恢復(fù)進(jìn)程定時(shí)的從gcware檢索ddlevent日志 發(fā)現(xiàn)有錯(cuò)誤信息 則會(huì)將表上鎖 重新執(zhí)行DDL操作 執(zhí)行成功后 清除錯(cuò)誤日志記錄 解除表鎖 數(shù)據(jù)自動(dòng)恢復(fù) datastate狀態(tài)為1的故障排除 數(shù)據(jù)自動(dòng)恢復(fù)實(shí)現(xiàn)過程 如果有節(jié)點(diǎn)執(zhí)行dml loader操作失敗 gcware會(huì)把失敗記錄寫入到dmlevent日志 Gcdatarecover恢復(fù)進(jìn)程定時(shí)的從gcware檢索dmlevent日志 發(fā)現(xiàn)有錯(cuò)誤信息 則會(huì)將表上鎖 進(jìn)行數(shù)據(jù)恢復(fù) 自動(dòng)調(diào)用同步工具 將同組中另一個(gè)好的節(jié)點(diǎn)上的表的副本分片數(shù)據(jù) 非整個(gè)表分片數(shù)據(jù) 拷貝過來 同步成功后 清除錯(cuò)誤日志記錄 解除表鎖 節(jié)點(diǎn)故障排除 當(dāng)某個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí) 短時(shí)間無法修復(fù) 需設(shè)置節(jié)點(diǎn)狀態(tài)failuregcadminsetnodestatenodeip192 168 12 53failure當(dāng)故障修復(fù)完畢 則將節(jié)點(diǎn)狀態(tài)設(shè)置為normalgcadminsetnodestatenodeip192 168 12 53normal數(shù)據(jù)會(huì)自動(dòng)恢復(fù) 15 15 集群命令行g(shù)cadmin管理工具 命令行工具gcadmin可以為管理員提供管理集群的操作 包括 添加SafeGroup 查看集群狀態(tài) 切換集群狀態(tài) 查詢集群表鎖等常用功能 主要功能 gcadmin help列出所有命令gcadminaddsg nodes names移除組 有數(shù)據(jù)時(shí)慎用 gcadmin showcluster 查看集群信息gcadminswitchmode normal readonly recovery 切換集群模式gcadminshowlock查看集群鎖 表級 gcadminsetnodestate normal failure 節(jié)點(diǎn)出現(xiàn)故障時(shí) 設(shè)置節(jié)點(diǎn)狀態(tài)為failure 修好以后 設(shè)置節(jié)點(diǎn)狀態(tài)為normal 16 gcadmin切換集群模式 集群模式集群模式分為 normal 正常 能執(zhí)行所有SQL操作readonly 只讀 只能執(zhí)行查詢SQL 用于數(shù)據(jù)備份操作 recovery 恢復(fù) 不能進(jìn)行任何SQL操作 用于數(shù)據(jù)恢復(fù)操作 舉例 備份之前設(shè)置集群模式為readonly gcadminswitchmodereadonly備份結(jié)束之后 將集群模式設(shè)置為normalgcadminswitchmodenormal 17 17 gcadmin查看集群鎖 查看集群鎖命令 gcadminshowlock功能 查看目前集群中的表級鎖 示例 Tablename 鎖加在哪個(gè)表上Owner 哪個(gè)節(jié)點(diǎn)加的這把鎖Content 鎖的備注Createtime 鎖的創(chuàng)建時(shí)間 以加鎖的節(jié)點(diǎn)的時(shí)間為準(zhǔn) Orphan 是否是孤兒鎖 Type 鎖的類型 S 共享鎖E 獨(dú)占鎖 18 gcadmin查看集群鎖 查看集群鎖gcadminshowlock 19 檢查內(nèi)存使用率 使用top LINUX nmon opt gnode server bin 目錄下 等工具進(jìn)行監(jiān)控 opt gnode server bin nmon 20 檢查磁盤空間使用情況 使用df h命令查看磁盤的使用率和剩余空間如果空間快滿 需考慮是否增加磁盤或者集群擴(kuò)容 21 連接集群數(shù)據(jù)庫幾種方法 通過GBaseShell方式連接集群 命令行方式 gccli ugbase pgbase20110531 h172 17 254 106 101 108 111 118 P5258 opt gcluster server bin gbase ugbase pgbase20110531 P5258批處理SQL文件 gccli ugbase pgbase20110531 Dtest vvv f sql result txt2 sql result err企業(yè)管理器可連接 windows下的圖形化客戶端 應(yīng)用程序訪問 22 實(shí)用SQL語句 帳號管理 創(chuàng)建用戶 CREATEUSERadminIDENTIFIEDBY 123456 admin是新用戶名 123456是密碼刪除用戶DROPUSERadmin 修改用戶名RENAMEUSERold userTOnew user設(shè)置 修改密碼SETPASSWORD PASSWORD adminnew SETPASSWORDFOR admin1 PASSWORD admin 查詢用戶 SELECTTRIM host host TRIM user user passwordFROMgbase user 用戶管理 23 實(shí)用SQL語句 帳號管理 GRANT和REVOKE語句允許系統(tǒng)管理員創(chuàng)建8a集群用戶帳號 并處理用戶權(quán)限的賦予與收回 授權(quán)語法 GRANTALLONTEST TO admin WITHMAX QUERIES PER HOUR20MAX UPDATES PER HOUR10MAX CONNECTIONS PER HOUR5MAX USER CONNECTIONS2 MAX QUERIES PER HOUR 每節(jié)點(diǎn)上限制每用戶每小時(shí)發(fā)出的查詢數(shù)MAX UPDATES PER HOUR 每節(jié)點(diǎn)上限制每用戶每小時(shí)發(fā)出的更新數(shù)MAX CONNECTIONS PER HOUR 每節(jié)點(diǎn)上限制每用戶每小時(shí)可連接服務(wù)器的次數(shù)MAX USER CONNECTIONS 每節(jié)點(diǎn)上限制每用戶可同時(shí)連接的最大連接數(shù) 24 實(shí)用SQL語句 帳號管理 權(quán)限列表 25 實(shí)用SQL語句 帳號管理 查看用戶授權(quán)的語句SHOWGRANTSFORuser 收回語法 REVOKEALLPRIVILEGES GRANTOPTIONFROMuser 收回權(quán)限管理 26 查看服務(wù)器運(yùn)行語句 查看本節(jié)點(diǎn)正在運(yùn)行的線程 SQL語句 SHOW FULL PROCESSLIST 如果有SUPER權(quán)限 可以看到所有線程 顯示8a集群的系統(tǒng)變量的值 SHOW GLOBAL SESSION VARIABLES LIKE pattern 舉例 顯示集群壓縮相關(guān)的系統(tǒng)變量的值SHOWVARIABLESLIKE compress 27 查看服務(wù)器運(yùn)行語句 顯示警告或錯(cuò)誤信息 SHOWWARNINGS 顯示由最后一個(gè)語句產(chǎn)生的錯(cuò)誤 警告和注意信息 SHOWERRORS 顯示由最后一個(gè)語句產(chǎn)生的錯(cuò)誤信息 顯示集群中節(jié)點(diǎn)信息 SHOWNODES 如果有SUPER權(quán)限 可以看到所有節(jié)點(diǎn)信息 SHOWLOCALNODE 顯示集群中客戶端正在訪問節(jié)點(diǎn)的信息 28 查詢數(shù)據(jù)庫信息 showdatabases 查看系統(tǒng)中數(shù)據(jù)庫名的語句 根據(jù)權(quán)限顯示 usedb name 數(shù)據(jù)庫作為以后查詢的缺省數(shù)據(jù)庫 showtables 列出給定數(shù)據(jù)庫的所有非臨時(shí)表desctest t 查看test庫t表的列信息showindexfromtest t 查看test庫t表的索引信息 29 查詢創(chuàng)建數(shù)據(jù)的信息 SHO