[系统运维]保安日记8.28--Hadoop入门

昨天在centos中下载好了hadoop压缩包，今天看看能到哪一步。

因为是Linux系统感觉只能用命令行那么一点点写代码，先看看吧。

hadoop需要集群部署，服务器和节点IP地址的设置，需要改名改ip，Ping通，DNS解析。这些是什么鬼我真的不太懂。一点点学吧，所谓基础不牢，地动山摇。

目录

集群部署

搭建思路

1、部署服务器

2、节点地址规划

3、每节点资源规划

4、系统账号和密码

5、节点功能规划

6、节点文件目录规划

环境准备

集群部署

先来了解集群部署：

搭建思路

1、部署服务器

在虚拟机上部署5台服务器，需要java jdk环境，也需要hadoop（安装包？）

2、节点地址规划

节点地址规划，给自己设计的服务器设置结构关系，命名便于管理。其中有主机名、IP地址、掩码、网关、DNS：

主机名应该就是用来区分用途和编号了

IP 地址是一种逻辑地址，用来标识网络中一个个主机，IP 有唯一性（指的是公网地址），即每台机器的 IP 在全世界是唯一的。

电脑之间要实现网络通信，就必须要有一个合法的 IP 地址。IP 地址 = 网络地址 + 主机地址（又称：网络号和主机号），IP 地址的结构使我们可以在 Internet 上很方便的寻址。

子网掩码是用来判断任意两台计算机的 IP 地址是否属于同一子网络的根据

网关就像房间的门

DNS：域名系统(Domain Name System)。在 Internet 上，域名与 IP 地址之间是一 一对应的，域名虽然便于人们记忆，但机器之间只能互相识别 IP 地址，它们之间的转换工作称为域名解析，域名解析需要由专门的域名解析服务器来完成，DNS 服务器就是进行域名解析的服务器 。

如果没有这东西，你必须输入网站的 IP 地址，有了DNS 服务器，你就可以直接输入网址。

在这些林林总总之中只有主机名和IP地址是不一样的，其他是为了保证服务器之间能够通讯吧

3、每节点资源规划

这一步非常合理，为大家分配资源，我喜欢

好家伙才发现两个叫master三个叫salve两个主子三个奴才啊

我这电脑总共才200多g内存就省着点吧

我们看到是内存，cpu,硬盘的分配

这里再区分一下吧，内存和cpu硬盘的关系，学知识最怕一知半解

在计算机的五大部件中有输入设备、输出设备、存储器、运算器和控制器。

咱们的CPU就是处理器（运算）相当于生产车间

硬盘是总仓库

内存是生产车间暂存产品的小仓库

4、系统账号和密码

好家伙这回真的管理上了

5、节点功能规划

感觉能开一家企业了，计算机技术不愧是站在巨人的肩膀上

这里一共有三种功能

两个主人一人一个namenode奴才来弄datanode

百度翻译了，node是节点的意思

6、节点文件目录规划

分配办公室咯

有存放目录，安装目录和测试目录，怎么着办公区，吸烟区和卫生间呗？这确实是三个地方，不过所有服务器的办公区、吸烟区和卫生间都是只有一个

环境准备

开始盖房子了

虚拟机和操作系统咱都弄完了，vmware和centos

设计主机环境满足规划需求

接下来的部分就是实操了，这个博主写的是真滴明白爱了爱了。我也要上手了喔

接下来只写遇到的问题和解决方法

参考文章https://blog.csdn.net/arnoldmapo/article/details/105230452?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163013998016780269832785%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=163013998016780269832785&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-2-105230452.first_rank_v2_pc_rank_v29&utm_term=hadoop%E9%9B%86%E7%BE%A4%E9%83%A8%E7%BD%B2&spm=1018.2226.3001.4187

乌龙了，这个博主的教程意思是在vmware里直接弄5个虚拟机，而我之前看的教程是用Docker做几个容器容纳虚拟机，我吐了啊。

所以现在有一个问题，我是要选择直接vmware还是在vmware里用Docker感觉起来好像没什么不同，但那样的话Docker岂不是失去了存在的意义？

我又在该博主的这篇文章页面使用了ctrl+f确认了他是没用Docker的，而且他的最后一步已经到了测试即使用环节。所以我也像他这么干吧，因为谁叫他能出活呢？不管黑猫白猫了，省事能抓耗子，那是真滴好猫。

该死我的D盘（虚拟机所在盘）就剩下9个G了，看来这玩意真是一般人玩不了啊，我现在一边去搜有没有像Kaggle一样的可以编程的网页，另一方面，继续做这个Hadoop虽然内存小，大不了咱怕运行一个轻量级的小数据。

先不干了，九点半了，我去肝高数了