IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> ubuntu16.04安装hadoop和spark问题汇总 -> 正文阅读

[大数据]ubuntu16.04安装hadoop和spark问题汇总

1.输入start-dfs.sh时出现ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.

解决方法(可能):修改/etc/hadoop/hadoop-env.sh

参考教程:ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation._yaoshengting的博客-CSDN博客_hdfs_namenode_user

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root  
export YARN_NODEMANAGER_USER=root  //yarn的也写上,后续配置yarn的时候出错就加上这两句

2.输入start-dfs.sh时出现permisssion denied:可能是因为ssh没有设置免密登录

随便搜一下应该就能找到解决方法,但是我后来修改文件的时候只修改了PermitRootLogin,把它的值改为了yes

参考博主:Ubuntu下搭建第一台hadoop输入start-dfs.sh出现Permission denied (publickey,password)的问题_zhangxiaofan2000的博客-CSDN博客3.使用jps判断hadoop是否成功启动的时候,出现error:程序'jps'已包含在下列软件包内

解决方法:很有可能是环境变量配置错了,可以先试试java -version能够正确输出,然后再看看hadoop version能否正确输出。我就是java的环境变量写完之后又被覆盖了,所以在bashrc中没有java的环境变量。所以在这里重新检查一下。

vim ~/.bashrc  //看看环境变量什么情况

source ~/.bashrc //记得保存

bashrc中添加的是这些:(会根据安装路径的不同有差异,注意修改)

?参考博客:??????启动hadoop输入jps显示:程序 ‘jps‘ 已包含在下列软件包中: * openjdk-7-jdk * openjdk-6-jdk 请尝试:sudo apt-get install ~_陈羽穆的博客-CSDN博客_程序jps已包含在下列软件包中44.输入下列命令出错:-bash:未预期的符号 newline附近有语法错误:不要用<>,改成' '

$ bin/hdfs dfs -mkdir /user/<username>     //<username>问用户名,如hadoop
$ bin/hdfs dfs -mkdir /user/hadoop   //这样就行了,hadoop可以改成别的名字哈

5.貌似可以正确启动集群,但是使用localhost:9870访问的时候,发现summary里面都是0,再去查datanode发现也没启动。

原因:datanode和namenode启动id不一致的原因。

参考博客:datanode和namenode启动id不一致_再鹤的博客-CSDN博客但是这个博客里面还是写错了,应该修改的是clusterid,不是namespaceid。

6.安装一些python包的时候出现依赖包或者其他错误。

解决方法:换源。我是ubuntu16.04,所以换源的时候对应的时xenial,不同版本对应不同。记得换完源之后update一下,反正我的好使了。

参考博客:Ubuntu18.04下更改apt源为阿里云源_CediOsman的博客-CSDN博客_ubuntu 修改源

然后可以输入python,import一下numpy这几个包,看看行不行。

根据老师的教程安装了一下hadoop和spark,但是没有成功实现mapreduce例子,先总结这么多可能踩的坑。如果实现例子了,再写一下。

我去,这个ubuntu的色彩也太饱和了,我快被亮瞎了。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-04-04 12:18:09  更:2022-04-04 12:21:13 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 4:42:39-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码