IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 开发工具 -> Spark源码学习之IDEA源码阅读环境搭建 -> 正文阅读

[开发工具]Spark源码学习之IDEA源码阅读环境搭建

软件准备

(1)Java 1.8
(2)Scala 2.11.12(需要在IDEA中安装)
(3)Maven 3.8.2(需要在IDEA中配置)
(4)Git 2.33
以上软件需要安装好,并进行环境配置。
在这里插入图片描述
在这里插入图片描述
(5)spark 2.4.3 源码(官网可下载)

编译源码

(1)修改MAVEN_OPTS,增加Maven编译时内存的大小:

在Maven安装目录下找到bin/mvn.cmd文件,打开在文件中添加

MAVEN_OPTS="-Xmx2g -XX:MetaspaceSize=2G -XX:ReservedCodeCacheSize=2G"

(2)运行Git中的git-bash.exe,然后在相应的spark目录下直接执行如下命令,进行源码编译:(耗时较长)

$ > mvn -Pyarn -Phadoop-2.7 -Pspark-ganglia-lgpl -Pkinesis-asl -Phive -DskipTests clean package

在这里插入图片描述
源码编译的结果如下:
在这里插入图片描述

搭建IDEA阅读环境

(1)在IDEA界面直接open刚刚编译的源码文件
在这里插入图片描述
(2)点击build开始构建(耗时较长)
在这里插入图片描述
在这里插入图片描述
(3)使用IDEA进行编译

①为Maven工具设置JVM参数,命令如下:

-XX:PermSize=2G

在这里插入图片描述
②在Maven面板中进行编译(耗时较长)
在这里插入图片描述
编译完成后的目标Jar文件存放在assembly/target/scala-2.11/jars目录下,将其添加到项目Example Module。添加步骤如下:
在这里插入图片描述
(4)运行Master和Worker(方便调试)
①点击IDEA的“Run -> Edit Confgurations”菜单,在弹出的界面中单击左上角的加号,先添加Master的运行环境配置如下:
在这里插入图片描述
添加完成后点击运行Master进程。
在这里插入图片描述
出现上图说明运行成功了,然后从上面蓝色的框可以看出Master启动于spark://172.18.224.1:7077地址,而它的WebUI启动于http://windows10.microdone.cn:8080地址。(windows10.microdone.cn即为172.18.224.1)
②点击IDEA的“Run -> Edit Confgurations”菜单,在弹出的界面中单击左上角的加号,先添加Worker的运行环境配置如下:
在这里插入图片描述

添加完成后点击运行Worker进程。在这里插入图片描述
至此,已经完成了IDEA源码阅读环境的搭建

③查看Mater和Worker的WebUI界面

Mater的WebUI界面
在这里插入图片描述
Worker的WebUI界面
在这里插入图片描述

  开发工具 最新文章
Postman接口测试之Mock快速入门
ASCII码空格替换查表_最全ASCII码对照表0-2
如何使用 ssh 建立 socks 代理
Typora配合PicGo阿里云图床配置
SoapUI、Jmeter、Postman三种接口测试工具的
github用相对路径显示图片_GitHub 中 readm
Windows编译g2o及其g2o viewer
解决jupyter notebook无法连接/ jupyter连接
Git恢复到之前版本
VScode常用快捷键
上一篇文章      下一篇文章      查看所有文章
加:2021-10-07 14:01:24  更:2021-10-07 14:01:26 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/16 0:20:02-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码