IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> CDH6.2.0(别的也适用) 编译flink1.14.3 -> 正文阅读

[大数据]CDH6.2.0(别的也适用) 编译flink1.14.3

1. 方法有两种

1.1 克隆cloudera提供的打包,然后下载flink一步一步按照教程来,比较麻烦。

1.2 采用大佬开发好的脚本,直接一个shell搞定。(最好搞过javaEE和看得懂shell)

1.3 免费下载我打包好的程序

CDH-6.2-FLINK_ON_YARN-1.14.3.jar
CDH-6.2-FLINK-1.14.3-BIN-SCALA_2.12.tar

2. 白剽大佬的项目

flink-parcel

声明

本parcel是fork下 https://github.com/gaozhangmin/flink-parcel 来修改,感谢作者的贡献,由于本人是基于CDH6.2.0下操作,并修改部分内容,亲测可以集成到CDH中运作。

导读

CDH除了能够管理自生所提供的一些大数据相关服务外,还允许将第三方服务添加到CDH集群(托管在CDH上)。你需要做的就是按照一定的规则流程制作相关程序包,最后发布到CDH上。虽然过程并不困难,但是手动操作尤其是一些关键配置容易出错,往往导致最终服务无法正常在CDH上安装运行。

本文就是指导大家如何打包自己的服务,发布到CDH上,并且由CDH控制服务的运行、监控服务的基本运行状态。

相关介绍

名词介绍

(1)parcel: 以".parcel"结尾的压缩文件。parcel包内共两个目录,其中lib包含了服务组件,meta包含一个重要的描述性文件parcel.json,这个文件记录了服务的信息,如版本、所属用户、适用的CDH平台版本等。

命名规则必须如下

文件名称格式为三段,第一段是包名,第二段是版本号,第三段是运行平台。

例如:FLINK-1.9.1-bin-scala_2.12-el7.parcel

包名:FLINK

版本号:1.9.1-bin-scala_2.12

运行环境:el7

el6是代表centos6系统,centos7则用el7表示

ps:
parcel必须包置于/opt/cloudera/parcel-repo/目录下才可以被CDH发布程序时识别到。

(2)csd:csd文件是一个jar包,它记录了服务在CDH上的管理规则里面包含三个文件目录,images、descriptor、scripts,分别对应。如服务在CDH页面上显示的图标、依赖的服务、暴露的端口、启动规则等。

ps:
csd的jar包必须置于/opt/cloudera/csd/目录才可以在添加集群服务时被识别到。

flink-parcel制作过程

以CDH5.14、FLINK1.9.1为例

(1)下载制作包

git clone https://github.com/pkeropen/flink-parcel.git

(2)修改配置文件 flink-parcel.properties

#FLINK 下载地址
FLINK_URL=https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.12.tgz

#flink版本号
FLINK_VERSION=1.9.1

#扩展版本号
EXTENS_VERSION=BIN-SCALA_2.12

#操作系统版本,以centos为例
OS_VERSION=7

#CDH 小版本
CDH_MIN_FULL=5.2
CDH_MAX_FULL=5.15

#CDH大版本
CDH_MIN=5
CDH_MAX=5

(2)生成parcel文件

./build.sh  parcel

(3)生成csd文件

  • on yarn 版本
./build.sh  csd_on_yarn
  • standalone版本
./build.sh  csd_standalone

CDH 中安装flink服务

此处假设你已经安装好CDH集群

(1) 将上面生成的parcel文件copy至 cloudera/parcel-repo子目录下

(2) 将上述生成的jar文件copy至cloudera /parcel-repo子目录下

(3) 在CDH中添加flink的parcel包:

打开CDH管理界面->集群->检查parcel包->flink->分配->激活

(4) 重启CDH服务后 ,点击CDH所管理的集群添加服务,在列表中找到flink,按提示添加启动并运行(没启用kerberos的记得把kerberos配置那两行清空,不然启动会报错)。

说明:

(1) 在如果集群开启了安全,需要配置security.kerberos.login.keytab和security.kerberos.login.principal两个参数才能正正常启动。如未启动kerberos,则在CDH中添加FLINK服务时请清空这两个参数的内容

(2) 如果你计划将 Apache Flink 与 Apache Hadoop 一起使用(在 YARN 上运行 Flink ,连接到 HDFS ,连接到 HBase ,或使用一些基于 Hadoop 文件系统的 connector ),请选择包含匹配的 Hadoop 版本的下载包,且另外下載对应版本的 Hadoop 库,将官方指定 Pre-bundled Hadoop 2.6.5 ,并且把下载后的 Hadoop 库放置 到 Flink 安装目录下的 lib 目录 包并设置 HADOOP_CLASSPATH 环境变量。
例如:export HADOOP_CLASSPATH=/opt/cloudera/parcels/FLINK/lib/flink/lib

相关参考:

Cloudera Manager Extensions

csd参考模板

FLINK官方下载地址

CDH添加第三方服务的方法

3. 江湖规矩,有图为证

在这里插入图片描述

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章           查看所有文章
加:2022-04-07 22:46:53  更:2022-04-07 22:51:01 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 4:59:42-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码