IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 大数据技术原理与应用(一) -> 正文阅读

[大数据]大数据技术原理与应用(一)

首先安装VMware和乌班图,然后根据书上教程安装hadoop,在配置java环境使可以直接上甲骨文进行下载。下载时需要注意首先是下载.tar.gz格式的压缩包。其次是一定要提前看一下自己的虚拟机是几位的,如果不匹配就会在安装时出现“可执行文件错误”。在下载时可以通过虚拟机直接下载,也可以先安装VMtools在主机上下载再进行拖拽。

使用此命令可以查看虚拟机的位数。顺带一提,使用vim进入配置文件时,使用“i”可以对文件进行插入,退出摁“esc”然后输入":wq"就可以保存并退出,什么操作都没有可以使用“:quit”进行退出。如果不小心破坏了文件可以再次用vim打开,他会提示你一些东西,可以让你进行修改或者直接对文件进行还原。

其次继续跟着书上的指示更改两个xml文件,core-site.xml和hdfs-site.xml怎么修改书上都有,就不再赘述。主要是记录一些自己在配置以及实验时出现的一些问题。接下来进行初始化文件系统,这样才能进一步执行计算任务。

这个终端非常不智能,一定要仔细检查自己输入的命令是否正确,尤其是/和有没有空格。

执行结果如下:

好的通过跟书上的比对,果然又出现了错误。?

?然后没找到错误原因,暂时标记,如果后面出现什么问题首先考虑这一步。

接下来启动HDFS,启动失败。

又往上翻了一下在执行Grep实例的时候就已经出现了错误,不愧是我。从头再来。

这次出现的是这种错误,先确定一下自己的jar目录是不是切实存在的。直接复制了这个文件的名字进行命令更新出现了不一样的东西,接下来继续向下走看看是否一致。好的还是不对。

这个问题的原因是发生在系统位数不匹配,可以找到匹配的系统进行安装,也可以在hadoop-env.sh和yarn-env.sh添加如下两行:

?添加之后在执行命令上述问题解决,但我看着还是不太对劲,再试一下。

好的果然还是有问题,真好。

解决完这个错误去keep然后开会。

捣鼓了一派子,下载的hadoop位数是64位

好好好

现在已经是下午6点了,我还没安好,从上午9点开始,除去下午上课和锻炼的时间已经很长了。有的时候自己也弄不明白,按部就班的按照书上的内容来进行安装和各种操作,还会出现这样那样的问题,你出这书干啥,真的有病,也不说解决办法,在网上也搜不到,只能一遍遍的卸载重新安装,服了。

<property>
?? ??? ?<name>hadoop.tmp.dir</name>
?? ??? ?<value>file:/usr/local/hadoop/tmp</value>
?? ??? ?<description>Abase for other temporary directories.</description>
?? ?</property>
?? ?<property>
?? ??? ?<name>fs.defaultFS</name>
?? ??? ?<value>hdfs://localhost:9000</value>
?? ?</property>

<property>
?? ??? ?<name>dfs.replication</name>
?? ??? ?<value>1</value>
?? ?</property>
?? ?<property>
?? ??? ?<name>dfs.namenode.name.dir</name>
?? ??? ?<value>file:/usr/local/hadoop/tmp/dfs/name</value>
?? ?<property>
?? ??? ?<name>dfs.datanode.data.dir</name>
?? ??? ?<value>file:/usr/local/hadoop/tmp/dfs/data</value>
?? ?</property>

<!-- Put site-specific property overrides in this file. -->

<!--
? Licensed under the Apache License, Version 2.0 (the "License");
? you may not use this file except in compliance with the License.
? You may obtain a copy of the License at

? ? http://www.apache.org/licenses/LICENSE-2.0

? Unless required by applicable law or agreed to in writing, software
? distributed under the License is distributed on an "AS IS" BASIS,
? WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
? See the License for the specific language governing permissions and
? limitations under the License. See accompanying LICENSE file.
-->

安好了

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-03-15 22:37:16  更:2022-03-15 22:39:52 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 8:38:06-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码