| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> 四、Flink部署 job配置与运行 -> 正文阅读 |
|
[大数据]四、Flink部署 job配置与运行 |
一、standalone 模式1.1上传依赖包 打开配置文件解压依赖包 通过文件传输工具上传到 opt目录下
1.2 主要配置文件 flink-conf.yaml 中主要配置介绍1.3?启动 及 jobmanager管理页面 显示bin目录下 ./start-cluster.sh 启动? 该脚本会依赖其它脚本,如果没权限 那就 chmod 777 文件名 启动成功后访问当前机器 8081端口 这个是配置在master文件中的 访问成功页面如下 二、job的提交运行(前端页面方式)把本地的maven项目编译打包,本地主要代码如下? ?
?在flink前端首页 添加job 配置参数 ?可以看到各算子的并行度为下 并行度的优先度为 代码中的>启动job时的并行度设置,上图为3 >?env配置的(没配置本地取cpu核数,linux取配置文件默认的1) 挨着的相同并行度的任务会被合并 如下图 source与 socketstream 启动任务时记得先开个linux窗口执行以下命令 模拟socket流 ?第一遍启动 一直在那转圈圈,发现 最大并行度为3 但是我的 slot总数就只有1 所以启动不了 等待足够的slot才能启动job 所以修改 配置文件中如下配置从 1 改为 4 ?再次启动 启动成功 ? 1.3job的提交运行(命令行方式)? 二、Yarn模式上面的taslmanager,slots资源啥的都是配死的,下面的是为了资源的灵活调度 可以看看,需要时再去用 ? ? ? |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/24 8:37:02- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |