大數(shù)據(jù)云平臺(tái)Greenplum：多租戶篇

1、大數(shù)據(jù)云平臺(tái)Greenplum多租戶篇Greenpl是最出色的開(kāi)源數(shù)據(jù)庫(kù)，經(jīng)過(guò)1年的發(fā)展，從數(shù)據(jù)倉(cāng)庫(kù)發(fā)展成了云時(shí)代的理想大數(shù)據(jù)平臺(tái)。本系列文章將從各個(gè)方面介紹Greenplum寸云的支持。本篇側(cè)重多租戶。1什么是多租戶多租戶指一套系統(tǒng)能夠支撐多個(gè)租戶。一個(gè)租戶通常是具有相似訪問(wèn)模式和權(quán)限的一組用戶，典型的租戶是同一個(gè)組織或者公司的若干用戶。要實(shí)現(xiàn)多租戶，首先需要考慮的是數(shù)據(jù)層面的多租戶。數(shù)據(jù)層的多租戶模型對(duì)上層服務(wù)和應(yīng)用的多租戶實(shí)現(xiàn)有突出影響。本文重點(diǎn)介紹數(shù)據(jù)層多租戶及Greenplun數(shù)據(jù)庫(kù)對(duì)各種多租戶模型的支持。權(quán)衡不同的多租戶實(shí)現(xiàn)方式時(shí)，需要考慮如下因素：擴(kuò)展性：租戶數(shù)量級(jí)別，以及未來(lái)發(fā)

2、展趨勢(shì)安全性：租戶之間數(shù)據(jù)隔離級(jí)別要求-資源共享：多租戶通常有某種形式的資源共享，需要避免某個(gè)租戶的糟糕吃掉系統(tǒng)資源，影響其他租戶的響應(yīng)時(shí)間-靈活性：不同租戶可能有不同的需求，對(duì)特定租戶需求的擴(kuò)展能力*跨租戶分析和優(yōu)化：對(duì)全部租戶或者多個(gè)租戶的數(shù)據(jù)和行為進(jìn)行分析的能力運(yùn)維和管理：運(yùn)維管理的復(fù)雜度和便宜性，包括監(jiān)控、修改數(shù)據(jù)庫(kù)模式、創(chuàng)建索引、收集統(tǒng)計(jì)數(shù)據(jù)、數(shù)據(jù)加載等成本：總體擁有成本，包括方案實(shí)現(xiàn)成本、運(yùn)維成本等2.多租戶模型多租戶模型描述了租戶和該租戶的數(shù)據(jù)之間的映射關(guān)系。不同的多租戶模型會(huì)影響數(shù)據(jù)庫(kù)和應(yīng)用程序的設(shè)計(jì)、管理和維護(hù)。使用較多的多租戶模型有三種。Gree叩lum對(duì)這三種模型都有出色

3、的支持。2.1一租戶一數(shù)據(jù)庫(kù)最簡(jiǎn)單的多租戶實(shí)現(xiàn)方式是為每一個(gè)租戶創(chuàng)建一個(gè)Greenplun集群，如下圖所示。應(yīng)用程序?yàn)槊總€(gè)租戶分配一個(gè)租戶，并為每個(gè)租戶配置相應(yīng)的數(shù)據(jù)庫(kù)連接信息（包括數(shù)據(jù)庫(kù)、端口等）。應(yīng)用程序根據(jù)租戶連接到為其分配的數(shù)據(jù)庫(kù)。這種模型中不同租戶的數(shù)據(jù)物理隔離，安全級(jí)別高。如果每個(gè)租戶的eep集U群使用不同的硬件，則他們之間的資源使用也是物理隔離的；如果租戶的eep集U群共用同一套硬件，則需要對(duì)資源進(jìn)行合理分配和管理，避免相互影響。由于不同租戶使用獨(dú)立的數(shù)據(jù)庫(kù)，靈活性好，容易滿足不同租戶的特定需求（譬如需要額外的字段）。出現(xiàn)故障時(shí)影響面小。缺點(diǎn)是數(shù)據(jù)庫(kù)數(shù)量大，維護(hù)復(fù)雜，擁有成本高。

4、適合租戶數(shù)目比較少的場(chǎng)景。2.2租戶一名字空間（Schema/Namespa）ce多個(gè)租戶共享同一個(gè)數(shù)據(jù)庫(kù)，每個(gè)租戶擁有獨(dú)立的名字空間（或模式）。應(yīng)用程序?yàn)槊總€(gè)租戶分配一個(gè)，并把每個(gè)租戶的所有操作限制在為其分配的名字空間/模式之中。如下圖所示。這種多租戶模型下，不同租戶的數(shù)據(jù)邏輯上相互隔離，安全控制相對(duì)簡(jiǎn)單。不同租戶有不同的模式，可以簡(jiǎn)便的滿足不同租戶的特定需求，靈活性高。對(duì)資源管理能力要求高，以避免不同租戶競(jìng)爭(zhēng)資源。結(jié)合eep的mepaceaesp特性,可以把不同租戶的數(shù)據(jù)存儲(chǔ)在不同的磁盤(pán)上，降低了對(duì)磁盤(pán)的競(jìng)爭(zhēng)。運(yùn)維和管理較復(fù)雜，不易實(shí)現(xiàn)大量租戶的跨租戶分析。適合租戶數(shù)目適中的場(chǎng)景。23全共

5、享方式不同租戶共享同一個(gè)數(shù)據(jù)庫(kù)、同一個(gè)名字空間。不同租戶的數(shù)據(jù)在同一組表中共存，通過(guò)租戶標(biāo)記和訪問(wèn)不同租戶的數(shù)據(jù)（應(yīng)用需要調(diào)整訪問(wèn)數(shù)據(jù)的以包含租戶）。如下圖所示。這種多租戶模型中，不同租戶的數(shù)據(jù)物理存儲(chǔ)在一起，對(duì)系統(tǒng)的資源隔離和安全隔離要求很高。運(yùn)維相對(duì)簡(jiǎn)單。擴(kuò)展能力好，可以支持較多數(shù)量租戶。由于租戶數(shù)據(jù)存儲(chǔ)在一起，跨租戶數(shù)據(jù)分析和優(yōu)化非常簡(jiǎn)單。成本低，可以較低的代價(jià)支持更多的租戶。全共享模型中，很多數(shù)據(jù)庫(kù)采用添加大量自定義字段的方式滿足不同租戶的特定需求，以提高靈活性。這種方式有諸多局限性，譬如字段數(shù)目不能太多、管理復(fù)雜等。自5.開(kāi)始支持更多半結(jié)構(gòu)化數(shù)據(jù)，包括、等，通過(guò)這種半結(jié)構(gòu)化數(shù)據(jù)，可以

6、更靈活、高效、便捷的滿足不同租戶的特定需求。2.4混合模型這種模型不是一個(gè)新的實(shí)現(xiàn)方式，而是混合前面介紹的三種模型以滿足不同用戶的服務(wù)級(jí)別需求。譬如對(duì)于最大的少數(shù)幾個(gè)租戶采用一租戶一數(shù)據(jù)庫(kù)的模型，其他租戶采用全共享方式?；蛘邔?duì)資源隔離級(jí)別要求高、服務(wù)響應(yīng)時(shí)間要求高的客戶采用一租戶一數(shù)據(jù)庫(kù)的模型，其他租戶采用一租戶一名字空間方式或者全共享方式。2.5對(duì)比下表列出了不同模式的特點(diǎn)?；旌夏Ｐ图婢卟煌Ｐ偷膬?yōu)缺點(diǎn)，不再單獨(dú)列出。根據(jù)不同需求可以采用不同的實(shí)現(xiàn)方式。特性一租戶一數(shù)據(jù)庫(kù)一租戶一名字空間全共享擴(kuò)展性、租戶數(shù)量低中高安全隔離物理隔離邏輯隔離依賴(lài)數(shù)據(jù)庫(kù)和應(yīng)用安全控制資源隔離若用不同集群，則高；賴(lài)

7、數(shù)據(jù)庫(kù)資源管理特性否則依依賴(lài)數(shù)據(jù)庫(kù)資源管理特性依賴(lài)數(shù)據(jù)庫(kù)資源管理特性靈活性高高通過(guò)等半結(jié)構(gòu)化數(shù)據(jù)跨租戶分析很難，需要跨庫(kù)查詢(xún)難，需要跨模式查詢(xún)類(lèi)型提供較高靈活性容易運(yùn)維管理復(fù)雜度高復(fù)雜度中復(fù)雜度低對(duì)應(yīng)用影響低較高成本高中低3.Greenplum資源管理上面提到，不管使用何種多租戶模型（除非是不同的物理集群），否則都涉及到資源管理的問(wèn)題，以滿足不同租戶的不同資源使用需求，避免某個(gè)租戶過(guò)度使用資源，影響其他租戶。Greenplum設(shè)計(jì)實(shí)現(xiàn)了一個(gè)全新的基于資源組的資源管理器，相比之前的資源隊(duì)列，可以做到靈活高效的資源管理。下表對(duì)資源組和資源隊(duì)列進(jìn)行了對(duì)比:特性資源組e并發(fā)控制事務(wù)級(jí)別死鎖無(wú)ureGr資源隊(duì)列Ueureueue語(yǔ)句級(jí)別極端情況下會(huì)出現(xiàn)管理基于比例、基于空閑利用率可以充分利用空閑up基于粗粒度的優(yōu)先級(jí)U部分利用內(nèi)存限制精細(xì)粒度粗組內(nèi)內(nèi)存共享是動(dòng)態(tài)修改資源配置是部分排隊(duì)無(wú)并發(fā)槽位或者內(nèi)存配額時(shí)無(wú)并發(fā)槽位時(shí)管理、語(yǔ)句是eme級(jí)別監(jiān)控管理是基于規(guī)則的資源管理是Greenplum可以實(shí)現(xiàn)細(xì)粒度的資源管理，在云上多租戶場(chǎng)景下，非常適合實(shí)現(xiàn)租戶的資