Hbase初识

　　HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。

　　与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。

HBase中的表一般有这样的特点：

1 大：一个表可以有上亿行，上百万列

2 面向列:面向列(族)的存储和权限控制，列(族)独立检索。

3 稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。

　　　　　　　　　　　　　　　　

上图描述Hadoop EcoSystem中的各层系统。其中,HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持，Hadoop MapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供了稳定服务和failover机制。 　　此外，Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单。 Sqoop则为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据向HBase中迁移变的非常方便。 1、[HBase]数据模型（逻辑结构） 　　HBase以表的形式存储数据。表由行和列族组成。列划分为若干个列族(row family)，其逻辑视图如下： 下面分别说说几个关键概念： 1）行键(RowKey) -- 行键是字节数组, 任何字符串都可以作为行键； -- 表中的行根据行键进行排序，数据按照Row key的字节序(byte order)排序存储； -- 所有对表的访问都要通过行键 （单个RowKey访问，或RowKey范围访问，或全表扫描) 2）列族（ColumnFamily） -- CF必须在表定义时给出 -- 每个CF可以有一个或多个列成员(ColumnQualifier)，列成员不需要在表定义时给出，新的列族成员可以随后按需、动态加入 -- 数据按CF分开存储，HBase所谓的列式存储就是根据CF分开存储（每个CF对应一个Store），这种设计非常适合于数据分析的情形 3）时间戳（TimeStamp） -- 每个Cell可能又多个版本，它们之间用时间戳区分 4）单元格（Cell） -- Cell 由行键，列族:限定符，时间戳唯一决定 -- Cell中的数据是没有类型的，全部以字节码形式存贮 5）区域(Region） -- HBase自动把表水平（按Row）划分成多个区域(region)，每个region会保存一个表里面某段连续的数据； -- 每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候，region就会等分会两个新的region； -- 当table中的行不断增多，就会有越来越多的region。这样一张完整的表被保存在多个Region 上。 -- HRegion是HBase中分布式存储和负载均衡的最小单元。最小单元表示不同的HRegion可以分布在不同的HRegionServer上。但一个HRegion不会拆分到多个server上。

2.Hbase表操作

　　1、 对表的创建、删除、显示以及修改等，可以用HBaseAdmin，一旦创建了表，那么可以通过HTable的实例来访问表，每次可以往表里增加数据。

　　2、 插入数据

　　　　创建一个Put对象，在这个Put对象里可以指定要给哪个列增加数据，以及当前的时间戳等值，然后通过调用HTable.put(Put)来提交操作，子猴在这里提请注意的是：在创建Put对象的时候，你必须指定一个行(Row)值，在构造Put对象的时候作为参数传入。

　　3、 获取数据

　　　　要获取数据，使用Get对象，Get对象同Put对象一样有好几个构造函数，通常在构造的时候传入行值，表示取第几行的数据，通过HTable.get(Get)来调用。

　　4、 浏览每一行

　　　　通过Scan可以对表中的行进行浏览，得到每一行的信息，比如列名，时间戳等，Scan相当于一个游标，通过next()来浏览下一个，通过调用HTable.getScanner(Scan)来返回一个ResultScanner对象。HTable.get(Get)和HTable.getScanner(Scan)都是返回一个Result。Result是一个

KeyValue的链表。

　　5、 删除

　　　　使用Delete来删除记录，通过调用HTable.delete(Delete)来执行删除操作。（注：删除这里有些特别，也就是删除并不是马上将数据从表中删除。）

　　6、 锁

　　　　新增、获取、删除在操作过程中会对所操作的行加一个锁，而浏览却不会。

 

  1     import java.io.IOException;     
  2     import java.util.ArrayList;     
  3     import java.util.List;     
  4           
  5     import org.apache.hadoop.conf.Configuration;     
  6     import org.apache.hadoop.hbase.HBaseConfiguration;     
  7     import org.apache.hadoop.hbase.HColumnDescriptor;     
  8     import org.apache.hadoop.hbase.HTableDescriptor;     
  9     import org.apache.hadoop.hbase.KeyValue;     
 10     import org.apache.hadoop.hbase.MasterNotRunningException;     
 11     import org.apache.hadoop.hbase.ZooKeeperConnectionException;     
 12     import org.apache.hadoop.hbase.client.Delete;     
 13     import org.apache.hadoop.hbase.client.Get;     
 14     import org.apache.hadoop.hbase.client.HBaseAdmin;     
 15     import org.apache.hadoop.hbase.client.HTable;     
 16     import org.apache.hadoop.hbase.client.Result;     
 17     import org.apache.hadoop.hbase.client.ResultScanner;     
 18     import org.apache.hadoop.hbase.client.Scan;     
 19     import org.apache.hadoop.hbase.client.Put;     
 20     import org.apache.hadoop.hbase.util.Bytes;     
 21           
 22     public class HBaseTest {       
 23              
 24         private static Configuration conf =null;  
 25          /** 
 26           * 初始化配置 
 27          */  
 28          static {  
 29              conf = HBaseConfiguration.create();  
 30          }  
 31            
 32         /**   
 33          * 创建一张表   
 34          */    
 35         public static void creatTable(String tableName, String[] familys) throws Exception {     
 36             HBaseAdmin admin = new HBaseAdmin(conf);     
 37             if (admin.tableExists(tableName)) {     
 38                 System.out.println("table already exists!");     
 39             } else {     
 40                 HTableDescriptor tableDesc = new HTableDescriptor(tableName);     
 41                 for(int i=0; i){     
 42                     tableDesc.addFamily(new HColumnDescriptor(familys[i]));     
 43                 }     
 44                 admin.createTable(tableDesc);     
 45                 System.out.println("create table " + tableName + " ok.");     
 46             }      
 47         }     
 48              
 49         /**   
 50          * 删除表   
 51          */    
 52         public static void deleteTable(String tableName) throws Exception {     
 53            try {     
 54                HBaseAdmin admin = new HBaseAdmin(conf);     
 55                admin.disableTable(tableName);     
 56                admin.deleteTable(tableName);     
 57                System.out.println("delete table " + tableName + " ok.");     
 58            } catch (MasterNotRunningException e) {     
 59                e.printStackTrace();     
 60            } catch (ZooKeeperConnectionException e) {     
 61                e.printStackTrace();     
 62            }     
 63         }     
 64               
 65         /**   
 66          * 插入一行记录   
 67          */    
 68         public static void addRecord (String tableName, String rowKey, String family, String qualifier, String value)     
 69                 throws Exception{     
 70             try {     
 71                 HTable table = new HTable(conf, tableName);     
 72                 Put put = new Put(Bytes.toBytes(rowKey));     
 73                 put.add(Bytes.toBytes(family),Bytes.toBytes(qualifier),Bytes.toBytes(value));     
 74                 table.put(put);     
 75                 System.out.println("insert recored " + rowKey + " to table " + tableName +" ok.");     
 76             } catch (IOException e) {     
 77                 e.printStackTrace();     
 78             }     
 79         }     
 80           
 81         /**   
 82          * 删除一行记录   
 83          */    
 84         public static void delRecord (String tableName, String rowKey) throws IOException{     
 85             HTable table = new HTable(conf, tableName);     
 86             List list = new ArrayList();     
 87             Delete del = new Delete(rowKey.getBytes());     
 88             list.add(del);     
 89             table.delete(list);     
 90             System.out.println("del recored " + rowKey + " ok.");     
 91         }     
 92               
 93         /**   
 94          * 查找一行记录   
 95          */    
 96         public static void getOneRecord (String tableName, String rowKey) throws IOException{     
 97             HTable table = new HTable(conf, tableName);     
 98             Get get = new Get(rowKey.getBytes());     
 99             Result rs = table.get(get);     
100             for(KeyValue kv : rs.raw()){     
101                 System.out.print(new String(kv.getRow()) + " " );     
102                 System.out.print(new String(kv.getFamily()) + ":" );     
103                 System.out.print(new String(kv.getQualifier()) + " " );     
104                 System.out.print(kv.getTimestamp() + " " );     
105                 System.out.println(new String(kv.getValue()));     
106             }     
107         }     
108               
109         /**   
110          * 显示所有数据   
111          */    
112         public static void getAllRecord (String tableName) {     
113             try{     
114                  HTable table = new HTable(conf, tableName);     
115                  Scan s = new Scan();     
116                  ResultScanner ss = table.getScanner(s);     
117                  for(Result r:ss){     
118                      for(KeyValue kv : r.raw()){     
119                         System.out.print(new String(kv.getRow()) + " ");     
120                         System.out.print(new String(kv.getFamily()) + ":");     
121                         System.out.print(new String(kv.getQualifier()) + " ");     
122                         System.out.print(kv.getTimestamp() + " ");     
123                         System.out.println(new String(kv.getValue()));     
124                      }     
125                  }     
126             } catch (IOException e){     
127                 e.printStackTrace();     
128             }     
129         }     
130              
131         public static void  main (String [] agrs) {     
132             try {     
133                 String tablename = "scores";     
134                 String[] familys = {"grade", "course"};     
135                 HBaseTest.creatTable(tablename, familys);     
136                       
137                 //add record zkb     
138                 HBaseTest.addRecord(tablename,"zkb","grade","","5");     
139                 HBaseTest.addRecord(tablename,"zkb","course","","90");     
140                 HBaseTest.addRecord(tablename,"zkb","course","math","97");     
141                 HBaseTest.addRecord(tablename,"zkb","course","art","87");     
142                 //add record  baoniu     
143                 HBaseTest.addRecord(tablename,"baoniu","grade","","4");     
144                 HBaseTest.addRecord(tablename,"baoniu","course","math","89");     
145                       
146                 System.out.println("===========get one record========");     
147                 HBaseTest.getOneRecord(tablename, "zkb");     
148                       
149                 System.out.println("===========show all record========");     
150                 HBaseTest.getAllRecord(tablename);     
151                       
152                 System.out.println("===========del one record========");     
153                 HBaseTest.delRecord(tablename, "baoniu");     
154                 HBaseTest.getAllRecord(tablename);     
155                       
156                 System.out.println("===========show all record========");     
157                 HBaseTest.getAllRecord(tablename);     
158             } catch (Exception e) {     
159                 e.printStackTrace();     
160             }     
161         }     
162     }    

 

 

转载于:https://www.cnblogs.com/shufy/p/5360977.html

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！