Linux121安装Httpd服务器
#yum?式安装httpd服务器
yum install httpd -y
#启动httpd服务器
systemctl start httpd
#验证httpd?作是否正常,默认端?是80，可以省略
http://linux121
下载Impala安装所需rpm包
Impala所需安装包需要到Cloudera提供地址下载
http://archive.cloudera.com/cdh5/repo-as-tarball/5.7.6/cdh5.7.6-
centos7.tar.gz
移动该安装包到/opt/bigdata/software
解压缩
tar -zxvf cdh5.7.6-centos7.tar.gz
使?Httpd盛放依赖包
创建软链接到/var/www/html下
ln -s /opt/bigdata/software/cdh/5.7.6 /var/www/html/cdh57
验证
http://linux121/cdh57/
如果提示403 forbidden
vim /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled
修改之后要记得重启机器！！之前修改过可以不?修改！！
修改Yum源配置?件
cd /etc/yum.repos.d
#创建?个新的配置?件
vim local.repo
#添加如下内容
[local]
name=local
baseurl=http://linux121/cdh57/
gpgcheck=0
enabled=1
name:对于当前源的描述
baseurl:访问当前源的地址信息
gpgcheck: 1 0,gpg校验
enabled:1/0,是否使?当前源
分发local.repo?件到其它节点
rsync-script local.repo
集群规划
| 服务名称 | linux121 | linux122 | linux123 |
|---|---|---|---|
| impala-catalogd | 不安装 | 不安装 | 安装 |
| impala-statestored | 不安装 | 不安装 | 安装 |
| impala-server | 安装 | 安装 | 安装 |
Impala??
impala-server:这个进程是Impala真正?作的进程，官?建议把impala-server安装在datanode节点，更靠近数据（短路读取）,进程名impalad
impala-statestored:健康监控??，主要监控impala-server,impala-server出现异常时告知给其它impala-server;进程名叫做statestored
impala-catalogd :管理和维护元数据(Hive),impala更新操作；把impala-server更新的元数据通知给其它impala-server,进程名catalogd
官?建议statestore与catalog安装在同?节点上！
具体安装步骤
Linux123
yum install impala -y
yum install impala-server -y
yum install impala-state-store -y
yum install impala-catalog -y
yum install impala-shell -y
Linux121与Linux122
yum install impala-server -y
yum install impala-shell -y
配置Impala
修改hive-site.xml
vim hive-site.xml
<!--指定metastore地址，之前添加过可以不?添加 -->
<property>
<name>hive.metastore.uris</name>
<value>thrift://linux121:9083,thrift://linux123:9083</value>
</property>
<property>
<name>hive.metastore.client.socket.timeout</name>
<value>3600</value>
</property>
分发Hive安装包到集群节点
rsync -r /opt/bigdata/servers/hive-2.3.7/ linux122:/opt/bigdata/servers/
rsync -r /opt/bigdata/servers/hive-2.3.7/ linux121:/opt/bigdata/servers/
Linux123启动metastore服务
nohup hive --service metastore &
启动hiveserver2服务
nohup hive --service hiveserver2 &
修改HDFS集群hdfs-site.xml
配置HDFS集群的短路读取
什么是短路读取？
在HDFS中通过DataNode来读取数据。但是，当客户端向DataNode请求读取?件时，DataNode就会从磁盘读取该?件并通过TCP socket将数据发送到客户端。所谓“短路”是指Client客户端直接读取?件。很明显，这种情况只在客户端与数据放在同个地点（译者注：同个主机）时才有可能发?。短路读对于许多应?程序会带来重?的性能提升。短路读取：就是Client与DataNode属于同?节点，?需再经过?络传输数据，直接本地读取。
要配置短路本地读，需要验证本机Hadoop是否有libhadoop.so;
进??下?录：
cd $HADOOP_HOME/lib/native
短路读取配置步骤
- 创建短路读取本地中转站
#所有节点创建?下?录
mkdir -p /var/lib/hadoop-hdfs
- 修改hdfs-site.xml
<!--添加如下内容 -->
<!--打开短路读取开关 -->
<!-- 打开短路读取配置-->
<property>
<name>dfs.client.read.shortcircuit</name>
<value>true</value>
</property>
<!--这是?个UNIX域套接字的路径，将?于DataNode和本地HDFS客户机之间的通信 -->
<property>
<name>dfs.domain.socket.path</name>
<value>/var/lib/hadoop-hdfs/dn_socket</value>
</property>
<!--block存储元数据信息开发开关 -->
<property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.client.file-block-storage-locations.timeout</name>
<value>30000</value>
</property>
注：分发到集群其它节点。重启Hadoop集群。
#停?集群
stop-dfs.sh
start-dfs.sh
#启动集群
start-dfs.sh
start-yarn.sh