云數(shù)據(jù)庫方案設(shè)計

1、云數(shù)據(jù)庫方案設(shè)計一、云數(shù)據(jù)庫的云化改造面向云化環(huán)境，數(shù)據(jù)庫在多個方面需要進行改造，包括快捷的安裝部署，提供數(shù)據(jù)庫的動態(tài)伸縮和資源隔離，以及監(jiān)控、遷移、備份等一體化管理，以適應(yīng)云環(huán)境中自動安裝部署、一體化監(jiān)控管理，資源動態(tài)分配等需求。1. 快速安裝及部署一鍵部署和分鐘級實例的創(chuàng)建:1. 準備好預(yù)置數(shù)據(jù)庫的docker鏡像a. 初始化好空數(shù)據(jù)目錄（也支持根據(jù)場景預(yù)置數(shù)據(jù)）b. 數(shù)據(jù)庫配置文件放置在docker鏡像之外，通過映射的方式進入鏡像內(nèi)部2.用戶選擇實例資源后（CPU內(nèi)存），系統(tǒng)自動計算最佳設(shè)置a. 用戶選擇實例的內(nèi)存、CPUt量，使用場景（OLTPOLAPb. 根據(jù)用戶選擇，自動調(diào)整、優(yōu)化

2、參數(shù)（共享緩存、work_mem等等）3. 使用docker鏡像加載外置配置文件啟動數(shù)據(jù)多種部署方式1. 單機(單獨的docker鏡像)2. 主備和負載均衡a) .配置好的三個獨立docker鏡像，分別扮演主機、備機、讀寫分離節(jié)點b) .三個節(jié)點配置文件都在外部，映射到內(nèi)部運行c) .啟動時，根據(jù)用戶的資源選擇和網(wǎng)絡(luò)場景，自動規(guī)劃配置文件內(nèi)容3. KADB集群a) .根據(jù)角色配置好獨立的docker鏡像，分別扮演數(shù)據(jù)節(jié)點、協(xié)調(diào)器節(jié)點等b) .節(jié)點的配置文件都放在外部，映射到內(nèi)部運行c) .根據(jù)用戶設(shè)置的資源，場景，自動分配節(jié)點數(shù)量，配置節(jié)點參數(shù).2. 在線伸縮云環(huán)境中，支持在線調(diào)整任何一個實例

3、使用的資源。對于數(shù)據(jù)庫而言，若分配的資源，包括CPU內(nèi)存、磁盤等資源發(fā)生變化，數(shù)據(jù)庫同樣需要對于資源的變化實施生效。CPU變化時，主要影響數(shù)據(jù)庫的并發(fā)連接數(shù)和并行參數(shù)，在金倉云數(shù)據(jù)庫中，并發(fā)連接數(shù)和并行參數(shù)可以動態(tài)調(diào)整。內(nèi)存發(fā)生變化時，數(shù)據(jù)庫的共享內(nèi)存，排序內(nèi)存等內(nèi)存分配支持動態(tài)調(diào)整，動態(tài)擴展。磁盤發(fā)生變化時，數(shù)據(jù)庫可以配置表空間的存儲，以及表存儲，分區(qū)的存儲，動態(tài)使用新增資源。另外，隨著實際業(yè)務(wù)的增長，數(shù)據(jù)庫集群的負載可能超出初始設(shè)計的承受能力，使得處理能力下降，不再滿足業(yè)務(wù)需求，所以數(shù)據(jù)庫集群支持在線擴展能力，即在不影響系統(tǒng)正常使用的情況下，增加數(shù)據(jù)庫的數(shù)據(jù)處理能力。3. 資源隔離King

4、baseES云數(shù)據(jù)庫支持多租戶模式，以實現(xiàn)多個租戶之間的資源隔離。每個租戶創(chuàng)建自己的數(shù)據(jù)庫，各自的數(shù)據(jù)庫從元信息、用戶數(shù)據(jù)到內(nèi)存、以及日志信息，都是彼此隔離的。每個租戶的數(shù)據(jù)庫不可以彼此訪問。各個租戶的數(shù)據(jù)庫可以方便的遷移和加載，支持各自的備份和恢復(fù)。4. 一體化管理使用KEM監(jiān)控數(shù)據(jù)庫運行狀態(tài)a) .支持自主監(jiān)控(由KEMft動呈現(xiàn))b) .支持將收集的數(shù)據(jù)匯集到其他管理平臺使用WEB對象管理工具管理數(shù)據(jù)庫對象a) .單機形式的數(shù)據(jù)庫對象管理b) .主備形式的數(shù)據(jù)庫對象管理c) .KADB集群數(shù)據(jù)庫對象管理二、向非關(guān)系型存儲、大數(shù)據(jù)處理進行擴展1. 通用數(shù)據(jù)庫通用數(shù)據(jù)庫按照處理業(yè)務(wù)的類型，分

5、為交易型數(shù)據(jù)庫和分析型數(shù)據(jù)庫。1. 交易數(shù)據(jù)庫主要用于交易類型的業(yè)務(wù)處理，例如：業(yè)務(wù)流程電子化，其他業(yè)務(wù)系統(tǒng)。面向所有參與業(yè)務(wù)流程的人員。對數(shù)據(jù)的操作特點是：大量短、頻、快的增刪改操作。2. 分析型數(shù)據(jù)庫主要用于統(tǒng)計分析，數(shù)據(jù)挖掘應(yīng)用。面向決策者和分析人員。對數(shù)據(jù)庫的操作特點是：大量數(shù)據(jù)入庫，大量復(fù)雜查詢。云上的數(shù)據(jù)庫需要有這兩種數(shù)據(jù)庫，來應(yīng)對更多的用戶應(yīng)用需求。2. 與大數(shù)據(jù)平臺的互訪大數(shù)據(jù)計算平臺，例如Spark、HIVE等，需要支持大數(shù)據(jù)計算平臺與數(shù)據(jù)庫互訪。以大數(shù)據(jù)計算平臺為中心，建立分析平臺。1. 大數(shù)據(jù)計算平臺訪問數(shù)據(jù)庫a) 大數(shù)據(jù)計算平臺Spark：可以提供JdbcRD睞訪問單機

6、數(shù)據(jù)庫系統(tǒng)，并且根據(jù)某列對表進行分區(qū)，并行讀取，提升效率。對于集群數(shù)據(jù)庫，Spark工作進程可以對每一個存儲節(jié)點進行數(shù)據(jù)讀取，通過這種并行的方式提升效率。b) 大數(shù)據(jù)計算平臺HIVE：需要在HIVE中注冊數(shù)據(jù)庫表信息，將數(shù)據(jù)庫的表映射成HIVE表,通過Hive-SQL進行數(shù)據(jù)讀取，并在HIVE中進行運算。2. 數(shù)據(jù)庫訪問大數(shù)據(jù)計算平臺大數(shù)據(jù)計算平臺可以將數(shù)據(jù)，例如計算結(jié)果，寫入到數(shù)據(jù)庫中，再在數(shù)據(jù)庫中，利用SQLM數(shù)據(jù)進行分析。3. 云數(shù)據(jù)集成與RDS勺數(shù)據(jù)集成數(shù)據(jù)庫使用外部表技術(shù)，可以訪問RD汕的其他數(shù)據(jù)。支持多種格式的數(shù)據(jù)；支持訪問和更新數(shù)據(jù)。同時，使用遷移工具實現(xiàn)到RDS勺數(shù)據(jù)集成。.與大數(shù)據(jù)存儲平臺的數(shù)據(jù)集成數(shù)據(jù)庫提供外部表技術(shù)，可以將交易型和分析型數(shù)據(jù)庫與其他存儲平臺對接，在數(shù)據(jù)庫內(nèi)部，通過外部表訪問大數(shù)據(jù)存儲平臺中的數(shù)據(jù)，包括：a)與HDFS對接：外部表訪問引擎(讀寫模塊)，通過調(diào)用HDFS的訪問接口(InputFormat，OutputFormat)，對Textfile，Avrofile，ParquetFile的文件進行讀寫。可以在數(shù)據(jù)庫中對H