MongoDB管控系統(tǒng)查詢優(yōu)化模塊的設(shè)計與實現(xiàn)

1、MongoDB管控系統(tǒng)查詢優(yōu)化模塊的設(shè)計與實現(xiàn)近年來 , 隨著 NoSQL數(shù)據(jù)庫的飛速發(fā)展和大規(guī)模實踐應(yīng)用, 越來越多的企業(yè)和研究機構(gòu) , 選擇 NoSQL數(shù)據(jù)庫構(gòu)建內(nèi)部的高性能系統(tǒng), 以應(yīng)對日益增長的內(nèi)部業(yè)務(wù)需求和大數(shù)據(jù)的存儲檢索挑戰(zhàn)。 MongoDB便是其中一種優(yōu)秀的NoSQL數(shù)據(jù)庫 ,已被成千上萬家企業(yè)和研究機構(gòu)應(yīng)用在一線生產(chǎn)環(huán)境中。和傳統(tǒng)關(guān)系型數(shù)據(jù)庫相比 ,MongoDB不基于關(guān)系代數(shù) , 查詢語句、索引類型與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫有較大的差別 , 而查詢語句的編寫 , 索引設(shè)計的好壞 , 都是影響 MongoDB查詢性能的重要因素。因此如何根據(jù) MongoDB的查詢特點、 索引特點 ,

2、對業(yè)務(wù)方 MongoDB的查詢進(jìn)行優(yōu)化建議 , 成為了一個需要研究的問題。 基于上述情況 , 本文以 MongoDB慢查詢?nèi)罩緸橐罁?jù) , 采用流程分解、 影響因素分析、 語法檢查、索引推薦等技術(shù) , 設(shè)計并實現(xiàn)了對 MongoDB的查詢進(jìn)行優(yōu)化建議的系統(tǒng)。 (1) 本文首先對項目背景和用戶需求進(jìn)行了實地調(diào)研 , 重點分析了當(dāng)前的優(yōu)化流程和管控系統(tǒng)的業(yè)務(wù)背景。在此基礎(chǔ)上 , 對 MongoDB的查詢處理過程進(jìn)行了流程分解 , 從瓶頸資源、影響因素、優(yōu)化方向三個角度對分解后的各階段進(jìn)行了分析。 結(jié)合減少數(shù)據(jù)訪問、 返回更少數(shù)據(jù)等優(yōu)化原則 , 最終確立了以查詢謂詞檢查、索引評估、索引推薦、結(jié)果集數(shù)量

3、分析作為管控系統(tǒng)的優(yōu)化方向。 (2) 日志獲取、判重與初步解析。系統(tǒng)首先讀取 MongoDB實例的慢查詢?nèi)罩?, 對單條日志記錄 , 提取日志中的唯一性標(biāo)識 , 計算對應(yīng)的 MD5值, 利用緩存進(jìn)行判重。將沒有重復(fù)的原始日志保存到數(shù)據(jù)庫中 , 接著對原始日志進(jìn)行初步解析 , 提取關(guān)鍵屬性 , 并對日志中的查詢條件進(jìn)行標(biāo)準(zhǔn)化處理 , 最后將初步解析結(jié)果保存到數(shù)據(jù)庫中。 (3) 從查詢謂詞檢查、索引優(yōu)化、結(jié)果集數(shù)量分析三個方面, 進(jìn)行優(yōu)化建議。利用初步解析結(jié)果 , 在查詢謂詞檢查方面 , 對相關(guān)查詢謂詞進(jìn)行語法層面的檢查 , 兼容謂詞和普通查詢條件混用的情況。在索引評估方面, 計算索引選擇率 ,評估索引過濾能力 , 結(jié)合用戶實例內(nèi)存評估索引大小的影響, 基于影響權(quán)重的原則進(jìn)行最左前綴匹配評估和索引覆蓋情況評估。在索引推薦方面, 基于等值排序范圍條件的索引建立原則, 對集合進(jìn)行索引推薦。在結(jié)果集數(shù)量分析方面 , 計算本次返回文檔數(shù)量占總文檔數(shù)的比重, 結(jié)合語法層面投影限行謂詞的檢查, 分析結(jié)果集返回數(shù)量的影響。系統(tǒng)最后將優(yōu)化建議結(jié)果保存到數(shù)據(jù)庫中。本論文最后對系統(tǒng)功能性和非功能性需求進(jìn)行了測試, 實驗結(jié)果證明本系統(tǒng)能滿足管控系統(tǒng)業(yè)務(wù)需求。本文從管控平臺的角度 ,