如果你的虚拟机给的内存少于14G,不用往下看了，机器压力非常大，建议先装内存条。

我们做大数据的，机器就是要大硬盘，大内存，高核cpu，其他无所谓，如果要做机器学习，那你显卡还得很好。

cdh的好处，一键启动和关闭组件，可以拓展各种组件，可以直接查看某个组件的日志，以及监控状态。核心就是不需要你在去用命令启动，和关闭。最好的，我觉得是，比如你hbase出了问题，要去维护，你不需要手动先去关闭hdfs、hive等，你只用点一下关闭hdfs的按钮，他会自动帮你先去关闭哪些依赖的组件，如果你点的是关闭hbase集群，你不需要一台一台点，也不用自己写脚本，他也会帮你挨着关闭。启动也是一样。

前言

时隔2年，重新复习一遍

6.3是社区的免费版，再往后是收费版

文档老了，花了2天，解决完所有bug，先来一张图

又花了1天，把集群内部东西全部修复

我打算全部删除，重新来一次，文档要修改的非常细，这样我以后就可以3小时内搭完。

配置与安装要求

硬件要求：

官方建议，主节点内存32GB，2核心以上，从节点16GB，2核以上

虚拟机化测试，官方建议，社区版，最低要求每台8G，企业版最低要求，10G

经过测试，发现只有主节点要求高，从节点不需要太高

本人硬件：32GB内存，16核cpu的笔记本电脑。

虚拟机配置:

节点名称	硬盘	内存
hadoop1	150G	12G
hadoop2	50G	6G
hadoop3	50G	6G

主节点内存要大于12G，（如果是三台机器的话，那么主节点的压力很大，建议内存是从节点的两倍）

从节点，我使用后发现，给的8G完全够了，所以这次给6G

hive安装的话，官方建议最低核数为4，所以建议主节点给4核，其他2核

cdh建议，datanode至少3个，主节点1个，从节点2个。如果datanode也放在主节点上，那么内存就不够了，就会全部预警。实际开发中，至少4台，但是我们内存有限就3台虚拟机，所以datanode还是只给2个

资源准备：

?下载地址:? Index of /test/cdh6

由于cdh在线安装会由于网络原因失败，自己建立本地httpd，进行安装。所以需要下载所有相关的资源。

cm资源准备:

他是cdh管理平台的相关安装包

cdh资源准备:

他是cdh的parcel包，里面包含各种大数据组件的安装包(如hdfs、hive、zookeeper、hbase、spark...)

什么hdfs,hive都在这个压缩文件里

mysql资源准备:

cm管理和监控大数据组件，需要通过mysql进行监控，并且像hive（存储元数据)、hue这些组件需要依赖于外部mysql

我选择的mysql是外部安装（没有什么压力的节点），没有装在cdh的节点，这样就可以防止当某台节点过大，挂了，导致mysql挂，而mysql又是其他节点的元数据，引起都挂的情况

?工具资源；

自己写的同步文件脚本，mysql-connector-java-5.1.47.jar(cdh与mysql通信需要这个)，指定版本jdk(cdh对jdk要求很严，sun公司的jdk几乎都不支持)

虚拟机搭建以及修改网卡（其中的centos7):

vmware虚拟机安装教程-边搭边写_我要用代码向我喜欢的女孩表白的博客-CSDN博客

搭建3台，hadoop1(12g,150gb,4核),hadoop2(6g,50gb,2核),hadoop3(6g,50gb,2核)

若为正式环境，按自己需求配置，cdh6建议不少于5台datanode

集群基础环境搭建

安装步骤介绍

免密登录

hdfs和其他通信是通过ssh，如果不配置，则每次心跳感应，需要你输入密码

关闭selinux和swap

关闭selinux(cdh官方等都建议关闭它，它的作用是限制资源访问，比如给你的impala限制了资源，由于impala用户权限低，查询就会很慢，失去了它的作用）

关闭swap（避免交换内存，默认是开启，如果你内存不够，那么他就会先写到磁盘上，然后释放的时候，会将磁盘中的内存，加载了内存中，如果磁盘中的消耗的资源大于内存，结果就是宕机，关闭后，相当于是一种保护策略）

httpd安装与yum.repo配置(含cdh服务安装）