[大数据]HUE集成HDFS

背景:因为每次使用hdfs和hive的时候都需要进入hdfs的页面和hive的客户端才能查看并进行操作很麻烦,所以采用hue来集成hdfs和hive,这里先接受hue与hdfs的集成,下次在写hue与hive的集成

HUE的下载地址: https://github.com/cloudera/hue/tree/master

背景:因为每次使用hdfs和hive的时候都需要进入hdfs的页面和hive的客户端才能查看并进行操作很麻烦,所以采用hue来集成hdfs和hive,这里先接受hue与hdfs的集成,下次在写hue与hive的集成

HUE的下载地址: https://github.com/cloudera/hue/tree/master

可以根据你的需求进行下载选择适合你的版本.

1、下载好了hue的后需要下载安装的医疗包

yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel libffi gcc gcc-c++ kernel-devel openssl-devel gmp-devel openldap-devel

根据自己权限配置情况看是否需要添加 sudo

2、修改配置

cd /export/servers/hue/desktop/conf

vim hue.ini
#通用配置

[desktop]
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
http_host=hadoop02
is_hue_4=true
time_zone=Asia/Shanghai

#编辑user的用户
server_user=root
server_group=root
default_user=root
default_hdfs_superuser=root

#配置使用mysql作为hue的存储数据库,大概在hue.ini的587行左右

[[database]]

#mysql的地址
engine=mysql
host=hadoop01
port=3306
user=root
password=123456
name=hue

3、创建mysql的数据库

create database hue default character set utf8 default collate utf8_general_ci;

grant all on hue.* to ‘hue’@’%’ identified by ‘hue’;

4、进行编译

cd /export/servers/hue

make apps

5、编译完成之后添加hue的用户

useradd hue

passwd hue

6、启动hue的进程

./build/env/bin/supervisor

7、启动成功后查看界面

8、此时hue已经安装成功，然后集成hdfs

8.1、修改core-site.xml的配置

hadoop：是用户根据自己的设置自行修改，我的是root用户所以我自己的配置都是root.hosts,root.groups

8.2、修改hdfs-site.xml的配置

8.3、将两个配置文件发送到其他机器上

scp -r /export/servers/hadoop/etc/hadoop/core-site.cml hadoop02:$PWD

scp -r /export/servers/hadoop/etc/hadoop/core-site.cml hadoop03:$PWD

scp -r /export/servers/hadoop/etc/hadoop/hdfs-site.cml hadoop02:$PWD

scp -r /export/servers/hadoop/etc/hadoop/hdfs-site.cml hadoop03:$PWD

8.4、配置hue.ini

我使用的是hadoop3.x，这里的端口都是hadoop3的端口，如果使用的是hadoop2.x需要修改端口为8020，和50070

cd /export/servers/hue/desktop/conf

vim hue.ini

[[hdfs_clusters]]
[[[default]]]
fs_defaultfs=hdfs://hadoop01:9000
webhdfs_url=http://hadoop01:9870/webhdfs/v1
hadoop_hdfs_home=/export/servers/hadoop
hadoop_bin=/export/servers/hadoop/bin
hadoop_conf_dir=/export/servers/hadoop/etc/hadoop

#配置我们的hue与yarn集成

[[yarn_clusters]]

[[[default]]]

resourcemanager_host=hadoop01
resourcemanager_port=8032
submit_to=True
resourcemanager_api_url=http://hadoop01:8088
history_server_api_url=http://hadoop01:19888

8.5、修改完成之后再重新启动hue

8.6、此时已经启动成功查看页面