分布式數(shù)據(jù)庫HBase 課件 單元5 HBaseAPI

單元5HBaseAPI目錄01HBaseAPI概述與生態(tài)定位02JavaAPI環(huán)境搭建與配置03HBase表管理操作精講04HBase數(shù)據(jù)操作實(shí)踐05過濾器機(jī)制與查詢優(yōu)化06綜合案例與開發(fā)規(guī)范01HBaseAPI概述與生態(tài)定位HBaseAPI的核心功能與作用大數(shù)據(jù)生態(tài)中的角色HBaseAPI是應(yīng)用程序與HBase數(shù)據(jù)庫交互的核心，在大數(shù)據(jù)生態(tài)中扮演著重要角色，能充分發(fā)揮HBase分布式、高可伸縮性和高性能的特性。過濾器功能過濾器可根據(jù)列族、列、版本等條件對(duì)數(shù)據(jù)進(jìn)行過濾，降低網(wǎng)絡(luò)傳輸壓力，提高查詢效率，如RowFilter可篩選出符合匹配條件的行。表管理功能數(shù)據(jù)增刪改查開發(fā)者可通過HBaseAPI創(chuàng)建、刪除和修改HBase中的表，設(shè)置表的屬性和配置，如創(chuàng)建命名空間、判斷表格是否存在等操作。支持插入新數(shù)據(jù)、更新已有數(shù)據(jù)、刪除數(shù)據(jù)以及按行鍵進(jìn)行查詢，實(shí)現(xiàn)對(duì)數(shù)據(jù)的高效管理，例如使用Put類插入數(shù)據(jù)，Get類獲取數(shù)據(jù)。HBaseJavaAPI核心類與接口用于配置HBase連接，可對(duì)HBase運(yùn)行時(shí)的環(huán)境進(jìn)行配置，通過靜態(tài)方法create()獲得實(shí)例，如Configurationconfiguration=HBaseConfiguration.create()。HBaseConfiguration類用于管理HBase數(shù)據(jù)庫的表信息，如創(chuàng)建或刪除表、列出表項(xiàng)等，需通過Connection.getAdmin()方法獲取子對(duì)象來操作。Admin接口代表與HBase集群的連接，能查找到HMaster，定位HRegion位置并緩存，Table和Admin實(shí)例也從該接口實(shí)例中獲取數(shù)據(jù)。Connection接口主要用于和HBase中的表進(jìn)行通信，可獲取、添加、刪除、掃描表中的數(shù)據(jù)，如使用put()方法添加值，get()方法獲取單元值。Table接口02JavaAPI環(huán)境搭建與配置Maven工程創(chuàng)建與依賴配置打開IDEA，在菜單欄選擇“File→New→Project”，新建工程類型選“Maven”，設(shè)置名稱為“HBaseDemo”，存儲(chǔ)路徑按需設(shè)置，添加組名為“com.bigdata.hbase”。新建Maven工程1在工程左側(cè)結(jié)構(gòu)的pom.xml中添加hbase-client依賴，版本為2.4.6。添加完成后打開Maven界面，單擊“更新”按鈕更新依賴。添加依賴2HBase集群連接配置實(shí)戰(zhàn)將core-site.xml（位于虛擬機(jī)主節(jié)點(diǎn)下的/usr/local/hadoop-3.1.4/etc/hadoop/）和hbase-site.xml（位于虛擬機(jī)主節(jié)點(diǎn)下的/opt/hbase-2.4.6/conf/）放入resources目錄，也可將Hbase的perties導(dǎo)入工程的resource目錄。配置文件準(zhǔn)備在IDEA中新建連接類，命名為“HBaseConnect”，在該類中添加連接HBase的代碼，運(yùn)行代碼，若結(jié)果符合預(yù)期則說明連接成功。新建連接類單擊此處添加文本，簡明扼要地闡述您的觀點(diǎn)。根據(jù)需要可酌情增減文字，以便觀者準(zhǔn)確地理解您傳達(dá)的思想。單擊此處添加文本具體內(nèi)容，簡明扼要地闡述您的觀點(diǎn)。根據(jù)需要可酌情增減文字，以便觀者準(zhǔn)確地理解您傳達(dá)的思想。單擊此處添加文本具體內(nèi)容代碼示例03HBase表管理操作精講命名空間與表創(chuàng)建方法該方法的主要參數(shù)是namespace，即命名空間名稱。在代碼中，通過傳入該參數(shù)構(gòu)建命名空間描述，如NamespaceDescriptor.create(namespace)。createNamespace()參數(shù)配置在創(chuàng)建命名空間時(shí)，首先要獲取Admin對(duì)象，然后使用NamespaceDescriptor.Builder來構(gòu)建命名空間描述。例如，可通過builder.addConfiguration("user","atguigu")添加需求，最后調(diào)用admin.createNamespace(builder.build())完成創(chuàng)建。若命名空間已存在，會(huì)捕獲IOException并輸出提示。createNamespace()實(shí)現(xiàn)邏輯命名空間與表創(chuàng)建方法創(chuàng)建表格時(shí)，先判斷是否有至少一個(gè)列族以及表格是否已存在。若條件滿足，獲取Admin對(duì)象，使用TableDescriptorBuilder和ColumnFamilyDescriptorBuilder構(gòu)建表格和列族描述，添加參數(shù)如setMaxVersions(5)，最后調(diào)用admin.createTable(tableDescriptorBuilder.build())創(chuàng)建表格。createTable()實(shí)現(xiàn)邏輯此方法的參數(shù)包括namespace（命名空間名稱）、tableName（表格名稱）和可變參數(shù)columnFamilies（列族名稱）。通過這些參數(shù)來確定表格的命名空間、名稱和列族信息。createTable()參數(shù)配置表結(jié)構(gòu)修改與刪除操作修改表格列族版本時(shí)，先判斷表格是否存在。若存在，獲取Admin對(duì)象和原表格描述，使用TableDescriptorBuilder和ColumnFamilyDescriptorBuilder構(gòu)建新的表格和列族描述，通過columnFamilyDescriptorBuilder.setMaxVersions(version)修改版本，最后調(diào)用admin.modifyTable(tableDescriptorBuilder.build())完成修改。關(guān)鍵步驟包括獲取原表格描述、創(chuàng)建新的描述建造者、修改列族版本和更新表格描述。例如，使用TableDescriptorBuilder.newBuilder(descriptor)獲取舊表格描述信息，避免創(chuàng)建新的表格描述。modifyTable()調(diào)整列族版本modifyTable()關(guān)鍵步驟表結(jié)構(gòu)修改與刪除操作刪除表格前，先判斷表格是否存在。若存在，獲取Admin對(duì)象，調(diào)用admin.disableTable(tableName1)將表格標(biāo)記為不可用，再調(diào)用admin.deleteTable(tableName1)刪除表格。deleteTable()禁用后刪除表01關(guān)鍵步驟是先禁用表格再刪除，這是HBase刪除表格的必要流程。若不先禁用，直接刪除會(huì)拋出異常。deleteTable()關(guān)鍵步驟02表狀態(tài)檢查與異常處理isTableExists()方法用于判斷表格是否存在，在創(chuàng)建、修改、刪除表格等操作前都可使用。例如，在創(chuàng)建表格時(shí)，先調(diào)用該方法判斷表格是否已存在，避免重復(fù)創(chuàng)建。isTableExists()應(yīng)用場(chǎng)景1該方法通過獲取Admin對(duì)象，調(diào)用admin.tableExists(TableName.valueOf(namespace,tableName))判斷表格是否存在，最后關(guān)閉Admin對(duì)象并返回結(jié)果。isTableExists()實(shí)現(xiàn)邏輯2在涉及與HBase交互的操作中，如創(chuàng)建命名空間、判斷表格是否存在等，可能會(huì)拋出IOException。可通過try-catch塊捕獲異常，在catch塊中進(jìn)行相應(yīng)處理，如輸出錯(cuò)誤信息或進(jìn)行重試操作。IOException容錯(cuò)機(jī)制設(shè)計(jì)304HBase數(shù)據(jù)操作實(shí)踐數(shù)據(jù)插入與更新的Put類應(yīng)用Put類的addColumn()方法可向指定列族和列限定符添加列值，還能添加帶時(shí)間戳的列值，以此實(shí)現(xiàn)多版本數(shù)據(jù)寫入。例如addColumn(byte[]family,byte[]qualifier,longts,byte[]value)方法。addColumn()實(shí)現(xiàn)多版本數(shù)據(jù)寫入1使用Put對(duì)象插入數(shù)據(jù)時(shí)，會(huì)先向HBase集群發(fā)送RPC請(qǐng)求，得到響應(yīng)后將Put類數(shù)據(jù)序列化傳給集群，集群節(jié)點(diǎn)接收數(shù)據(jù)后執(zhí)行添加操作。RPC請(qǐng)求流程分析2精準(zhǔn)查詢與范圍掃描的實(shí)現(xiàn)Get類主要針對(duì)單行數(shù)據(jù)進(jìn)行精準(zhǔn)查詢，而Scan類側(cè)重于對(duì)一定范圍內(nèi)的數(shù)據(jù)進(jìn)行掃描查詢，應(yīng)用場(chǎng)景有所不同。兩者差異對(duì)比Get類用于獲取表中的行數(shù)據(jù)，通過指定行鍵和列族、列標(biāo)識(shí)符進(jìn)行精準(zhǔn)的單行檢索，如addColumn(byte[]family,byte[]qualifier)指定列族和列。Get類單行檢索Scan類可實(shí)現(xiàn)范圍查詢，通過setStartRow(byte[]startRow)和setStopRow(byte[]stopRow)設(shè)定掃描的起始和結(jié)束行鍵，從而獲取指定范圍的數(shù)據(jù)。Scan類范圍查詢多版本數(shù)據(jù)讀取與結(jié)果解析使用getCells()方法可以遍歷Result對(duì)象，Result對(duì)象表示HBase查詢的結(jié)果，包含符合條件的數(shù)據(jù)集合，通過遍歷可獲取其中的數(shù)據(jù)。getCells()遍歷Result對(duì)象1CellUtil工具類的克隆方法如cloneValue(cell)、cloneRow(cell)等，可用于從Cell對(duì)象中提取行鍵、列族、列名、值等信息，方便對(duì)查詢結(jié)果進(jìn)行解析。CellUtil工具類克隆方法解析205過濾器機(jī)制與查詢優(yōu)化RowFilter與PrefixFilter實(shí)戰(zhàn)使用RowFilter結(jié)合BinaryComparator可精確篩選出具有特定行鍵的行。例如篩選出行鍵為002的行數(shù)據(jù)，通過創(chuàng)建RowFilter對(duì)象并設(shè)置比較操作符和比較器，將其應(yīng)用于Scan對(duì)象，能高效定位所需行數(shù)據(jù)。RowFilter行鍵精確匹配PrefixFilter可匹配出帶有固定前綴的行。如篩選出帶有rw前綴的行，只需創(chuàng)建PrefixFilter對(duì)象并傳入前綴字節(jié)數(shù)組，添加到Scan對(duì)象中，即可快速過濾出符合前綴條件的行，提升查詢效率。PrefixFilter行前綴過濾RowFilter與PrefixFilter實(shí)戰(zhàn)在代碼中，先連接HBase，獲取Table對(duì)象和Scan對(duì)象，創(chuàng)建相應(yīng)的過濾器并設(shè)置到Scan對(duì)象上，最后通過Table的getScanner方法獲取結(jié)果集進(jìn)行數(shù)據(jù)處理。如RowFilter示例：Filterrf=newRowFilter(CompareFilter.CompareOp.EQUAL,newBinaryComparator("002".getBytes()));scan.setFilter(rf)。實(shí)戰(zhàn)代碼示例復(fù)合過濾器與服務(wù)端執(zhí)行原理FilterList可通過組合多個(gè)過濾器實(shí)現(xiàn)復(fù)雜的篩選邏輯，支持AND（MUST_PASS_ALL）和OR（MUST_PASS_ONE）兩種關(guān)系。例如將RowFilter和ValueFilter組合，可同時(shí)對(duì)行鍵和列值進(jìn)行篩選。FilterList組合邏輯01帶有過濾器條件的RPC查詢請(qǐng)求會(huì)把過濾器分發(fā)到各個(gè)RegionServer，在服務(wù)端進(jìn)行過濾操作，這樣可以減少不必要的數(shù)據(jù)傳輸，降低網(wǎng)絡(luò)壓力，提高查詢性能。服務(wù)端過濾優(yōu)勢(shì)02服務(wù)端接收到帶有過濾器的查詢請(qǐng)求后，根據(jù)過濾器的條件對(duì)本地?cái)?shù)據(jù)進(jìn)行篩選，只將滿足條件的數(shù)據(jù)返回給客戶端，避免了大量無效數(shù)據(jù)的傳輸，提升了系統(tǒng)的整體效率。執(zhí)行原理解析03ValueFilter與列值條件篩選示例代碼：Filtervf=newValueFilter(CompareFilter.CompareOp.LESS,newSubstringComparator("100"));scan.setFilter(vf);通過這樣的代碼可實(shí)現(xiàn)對(duì)商品價(jià)格區(qū)間的篩選。實(shí)際代碼演示在電商場(chǎng)景中，若要篩選價(jià)格低于100元的商品，可使用ValueFilter結(jié)合SubstringComparator對(duì)商品價(jià)格列進(jìn)行過濾。創(chuàng)建ValueFilter對(duì)象，設(shè)置比較操作符和比較器，應(yīng)用到Scan對(duì)象上進(jìn)行查詢。商品價(jià)格區(qū)間過濾案例SubstringComparator可用于字符串子串的比較，在ValueFilter中使用能篩選出值滿足特定子串條件的單元格。如篩選出具有l(wèi)ucy子串的值，可創(chuàng)建ValueFilter并設(shè)置比較操作符和SubstringComparator。SubstringComparator應(yīng)用06綜合案例與開發(fā)規(guī)范用戶管理系統(tǒng)表設(shè)計(jì)與CRUD使用JavaAPI創(chuàng)建名為“user_info”的表，并定義列族“basic_info”。代碼中需獲取Admin對(duì)象，通過TableDescriptorBuilder構(gòu)建表描述，添加列族描述后創(chuàng)建表。表創(chuàng)建代碼演示使用JavaAPI查詢表中的數(shù)據(jù)，創(chuàng)建Get對(duì)象，添加列族和列名，讀取數(shù)據(jù)并處理結(jié)果，驗(yàn)證數(shù)據(jù)的正確性。條件查詢代碼演示插入示例數(shù)據(jù)，如用戶名、密碼、郵箱和電話號(hào)碼。創(chuàng)建Put對(duì)象，添加列族、列名和值，使用T