IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> windows下spark部署图文教程(从零到一)2021.8.6 -> 正文阅读

[大数据]windows下spark部署图文教程(从零到一)2021.8.6

本人用到spark是因为在课程中老师要求用spark对大数据进行处理。直接上教程,希望可以帮大家少踩一些坑。

spark是建立在hadoop的基础上的,安装部署spark需要你已经安装部署了hadoop,spark的安装比hadoop简单些。版本最好是对应的,这样兼容性比较好。

spark的下载

官网下载链接Downloads | Apache Spark

进入官网你会看到这样一个界面

点击我圈住的红色部分可以选择对应的版本,然后橙色部分会变成对应的版本下载链接,点击该链接进入如下界面

?

?点击第一条链接即可自动进入下载,下载完成后解压到指定位置,我在D盘新建了一个spark文件夹,把他解压到spark文件夹里

?解压后就会出现一个以spark对应版本命名的文件夹,这个就是我们之后要用到的,记住该路径

环境变量配置

解压后进行环境变量配置。spark不是一个应用,所以不需要安装,直接设置环境变量,在需要使用时可以找到路径即可。接下来进入变量配置。

点击设置,找到关于,或者右键此电脑,点击属性。然后点击右边的高级系统设置,点击环境变量,新建一个系统变量,变量名SPARK_HOME,变量值就是刚才你解压的路径。

?然后在PATH里添加%SPARK_HOME%\bin

?点击三次确定退出即可。

安装确认

在cmd窗口输入spark-shell,回车,出现以下界面说明安装成功。

?

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-07 12:09:17  更:2021-08-07 12:09:27 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/17 20:15:45-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码