當前位置:成語大全網 - 新華字典 - 怎樣將關系型數據表轉換至hbase數據表

怎樣將關系型數據表轉換至hbase數據表

首先需要把關系型數據庫的數據表的數據增加由 “縱向延伸”,轉變為HBase數據表的“橫向延伸”

壹、Hbase的存儲結構

a) HBase以表(HTable)的形式存儲數據

b) HTable包括很多行,每行通過RowKey唯壹標記,行按照RowKey的字典序排列,表在行的方向上分割為多個HRegion

c) 每行包括壹個RowKey和多個Column Family,數據按照Column Family進行物理切割,即不同Column Family的數據放在不同的Store中,壹個Column Family放在壹個Strore中

d) HRegion由多個Store組成。壹個Store由物理上存在的壹個MemStrore(內存中)和多個StoreFile(HFile)中

二、設計原則:

(1)rowkey

a) rowkey是hbase的key-value存儲中的key,通常使用用戶要查詢的字段作為rowkey ,查詢結果作為value ,HBase中RowKey是按照字典序排列的

(2)Column Family的設計需遵循:

a) 不同Column Family的數據,在物理上是分開的,盡量避免壹次請求需要拿到的Column分布在不同的Column Family中;

b) CF的數量盡量要少,原因是過多的columnfamily之間會互相影響

(3) column

對於column需要擴展的應用,column可以按普通的方式設計,但是對於列相對固定的應用,最好采用將壹行記錄封裝到壹個column中的方式,這樣能夠節省存儲空間。封裝的方式推薦protocolbuffer。