|
关于hbase是什么东西，为什么要使用hbase，网上有很多资料，在这不在赘述，直接上干货。
1、安装
官网下载对应的版本：hbase-2.3.7-bin.tar.gz
接下里解压：
$ tar -xzvf hbase-2.3.7-bin.tar.gz
验证是否成功，进入bin目录，查看版本信息：
.../bin$ ./hbase version
结果如下：
HBase 2.3.7
Source code repository git://bc84a1a3c651/home/vagrant/hbase-rm/output/hbase revision=8b2f5141e900c851a2b351fccd54b13bcac5e2ed
Compiled by vagrant on Tue Oct 12 16:38:55 UTC 2021
From source with checksum c18a9f329233d7fbbe4938009977da0b1ce243a38c66dafaf1b7f8820e412969ee3e6bff6ce33657226e4d82eaaef31277e18097ed344ee76c54db6fc4020b37
如果看到以上结果，说明安装成功。
2、配置
首先进入…/conf目录，修改hbase-env.sh，指定jdk的路径和修改是否使用内置的zookeeper（HBASE_MANAGES_ZK），此处不使用内置zookeeper。
export JAVA_HOME=/usr/lib/jvm/java-8-oracle/
export HBASE_MANAGES_ZK=false
其他参数可以根据实际情况进行优化
接下来修改hbase-site.xml文件
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>./tmp</value>
</property>
<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://*******:9000/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>*********</value>
</property>
其中：
hbase.cluster.distributed，用于指定是否为集群模式
hbase.rootdir，指定hbase数据存储的位置，此处使用hdfs，还有其他方式，例如：file
hbase.zookeeper.property.clientPort，指定zookeeper的对外端口
hbase.zookeeper.quorum，hbase使用的外置zookeeper的地址，注意此处的hostname
启动与关停
进入…/bin目录
$ ./start-hbase.sh
........
$ ./stop-hbase.sh
3、java调用
此处采用springboot方式集成hbase客户端，用来调用hbase。
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>2.4.8</version>
</dependency>
首先创建一个config类，该类主要是加载有关的hbase的配置，需要与…/conf/hbase-site.xml文件中的内容对应；同时生成一个service实例
@Configuration
public class HBaseConfig {
@Bean
public HBaseService getHbaseService() {
org.apache.hadoop.conf.Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.property.clientPort", "2181");
conf.set("hbase.zookeeper.quorum", "hbase-hostnme");
conf.set("hbase.rootdir", "hdfs://hadoop-hostname:9000/hbase");
conf.set("hbase.cluster.distributed", "true");
return new HBaseService(conf);
}
}
HbaseService类：
public class HBaseService {
private Logger log = LoggerFactory.getLogger(HBaseService.class);
private Admin admin = null;
private Connection connection = null;
public HBaseService(Configuration conf) {
try {
connection = ConnectionFactory.createConnection(conf);
admin = connection.getAdmin();
} catch (IOException e) {
log.error("获取HBase连接失败!");
}
}
public boolean creatTable(String tableName, List<String> columnFamily) {}
public List<String> getAllTableNames() {}
public Map<String, Map<String, String>> getResultScanner(String tableName){}
......
}
同时，java调用hbase发现一个问题，首次的时候不管什么操作，比如建表或查询，都比较慢，后面后比较快，也行是首次会创建连接的原因吧。
4、注意事项
经过此次尝试使用hbase，得出以下几点结论，非常重要，在此记录下：
1、hbase官网上讲，支持standalone模式，可以使用内置的zookeeper，hbase启动可以成功，但是java客户端无法调用，需采用外置的zookeeper。
2、hbase有讲，可以使用file方式作为存储方式，也没有成功，采用的hdfs方式（hadoop）。
3、在使用hadoop、hdfs和hbase时，ip地址不好使，得使用hostname。linux服务器需要修改/etc/hosts文件，windows客户端调用也需要在HOSTS文件中添加对应的hostname映射关系。
4、最后一点特别重要：hbase与hadoop的版本需要对应。即使是官网上说的，有时也不准确。官网上说，hadoop 3.3.X版本支持Hbase的2.X版本，其实是不支持的。后来采用hadoop的3.2.2版本和hbase的2.3.7版本
|