IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> yy/MM/ddjava.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows -> 正文阅读

[大数据]yy/MM/ddjava.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows

环境:

idea :IntelliJ IDEA 2020.3.4 (Ultimate Edition)
spark:spark-3.0.3
Scala:scala-2.12.10
Hadoop:hadoop-2.7.1

问题描述

在spark 创建RDD 的学习过程中,将处理的数据保存成分区文件的时候,只自动创建output2文件夹,但是里面什么都没有,而且报如下错误。

2022-04-0111:30:59, 280{yy/MM/ddjava. lang . UnsatisfiedLinkError: org . apache . hadoop. io . nativeio . NativeIO$Windows . createFiLeWithMode0(Ljava/Lang/String;JJJI)Ljava/io/FiLeDescriptor;
	at org. apache . hadoop. io.nativeio . NativeIO$Windows . createFileWi thMode0(Native Method)
	at org. apache . hadoop. io . nativeio . NativeIO$Windows . createF ile0utputstreamWithMode(NativeI0. java:559)
	at org. apache . hadoop . fs . RawLocalFileSystem$LocalFSFileOutputStream. <init> (RawLocalFileSystem. java:219)
	at org . apache . hadoop . fs . RawLocalFileSystem$LocalFSFile0utputStream. <init> (RawLocalFileSystem. iava:209)

在这里插入图片描述

原因分析:

通过查找相关资料知道,这个方法是加载本地系统和用户的环境变量的,
而我在安装Hadoop的时候将hadoop.dll放到了安装Hadoop文件夹的bin文件夹中导致的。


解决方案:

将bin中hadoop.dll文件删除,确保系统环境变量Path下的每一个目录没有hadoop.dll文件。同时记得在idea的Run Configuration中添加HADOOP_HOME 变量。
在这里插入图片描述

结束!!!

博主目前大三,一个编程菜鸟,写博客是为了记录自己的学习成长
如果文章有错误的地方,请指正!我们大家一起学习一起进步

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-04-09 18:28:13  更:2022-04-09 18:29:59 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 4:31:03-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码