IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> PHP知识库 -> CDH 集成Flink记录 -> 正文阅读

[PHP知识库]CDH 集成Flink记录

对于CDH集成Flink在网上找了一下博文,有的给出了官方的链接,好像点进去都失效了。然后通过尝试制作parcel包的方式来集成到CDH的方式成功了,过程也比较简单,特此记录一下。
首先感谢flink-parcel作者,接下来讲诉制作过程。
1.首先下载相关项目到服务器,然后修改flink-parcel.properties

git clone https://github.com/pkeropen/flink-parcel.git
cd flink-parcel

flink-parcel.properties内容如下:

#FLINK 下载地址
FLINK_URL=https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.11.4/flink-1.11.4-bin-scala_2.12.tgz

#flink版本号
FLINK_VERSION=1.11.4

#扩展版本号
EXTENS_VERSION=BIN-SCALA_2.12

#操作系统版本,以centos为例
OS_VERSION=6

#CDH 小版本
CDH_MIN_FULL=5.2
CDH_MAX_FULL=6.3.1

#CDH大版本
CDH_MIN=5
CDH_MAX=6

如果FLINK_URL报404问题的话,重新修改地址就行了,国内镜像地址有得是。
2,然后生成Parcel文件,当然这个过程可能会遇到问题,如果python版本过低的话最后生成可能会报错。

./build.sh  parcel

python版本过低引起的问题:解决方法升级到2.7,之前用的是2.6

Traceback (most recent call last):
  File "cm_ext/make_manifest/make_manifest.py", line 115, in <module>
    manifest = make_manifest(path)
  File "cm_ext/make_manifest/make_manifest.py", line 79, in make_manifest
    with tarfile.open(fullpath, 'r') as tar:
AttributeError: 'TarFile' object has no attribute '__exit__'

3.打包完parcel之后应该会在FLINK-1.11.4-BIN-SCALA_2.12_build目录下生成三个文件,然后开始生成csd文件

// 生成  FLINK_ON_YARN-1.11.4.jar包
on yarn 版本
./build.sh  csd_on_yarn
standalone版本
./build.sh  csd_standalone

接下来就是要集成到CDH的步骤了,首先将刚刚打好的csd包放入到指定目录:

cp FLINK_ON_YARN-1.11.4.jar /opt/cloudera/csd/

然后找个服务器安装个nginx服务,生成parcel步骤中生成的三个文件,放在nginx根目录中。链接大致如下:http://127.0.0.1/flink-1.11.4/,flink-1.11.4目录是自己在根目录新建的,然后把三个文件放进去,尝试访问一下manifest.json文件:
在这里插入图片描述
然后就是登录CDH manager后台,各个版本后台略有差异,我的是cdh 5.8.5
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
将静态文件的链接放进去http://10.1.21.251/flink-1.11.4/,这个过程可能需要重启一下CDH manager,然后依次选择下载>分配>激活。最后添加服务:
在这里插入图片描述
在这里插入图片描述
点击继续,后面配置步骤中,如果集群开启了安全,需要配置security.kerberos.login.keytab和security.kerberos.login.principal两个参数才能正正常启动。如未启动kerberos,则在CDH中添加FLINK服务时请清空这两个参数的内容。
最后是启动报错总结:

Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException
        at java.lang.Class.getDeclaredMethods0(Native Method)
        at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
        at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
        at java.lang.Class.getMethod0(Class.java:3018)
        at java.lang.Class.getMethod(Class.java:1784)
        at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
        at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnException
        at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:352)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
        ... 7 more

如果启动时报如下错误,则是缺少hadoop的相关jar包(flink-shaded-hadoop-2-uber-2.7.5-7.0.jar),将jar下载下来,放到/opt/cloudera/parcels/FLINK-1.10.0-BIN-SCALA_2.11/lib/flink/lib/目录下即可。

还有一个错误:

Caused by: java.lang.ArithmeticException: / by zero 
logIfComponentMemNotIntegerMultipleOfYarnMinAllocation

这个措施是因为把yarn.scheduler.minimum-allocation-mb参数设置为0而导致的。

  PHP知识库 最新文章
Laravel 下实现 Google 2fa 验证
UUCTF WP
DASCTF10月 web
XAMPP任意命令执行提升权限漏洞(CVE-2020-
[GYCTF2020]Easyphp
iwebsec靶场 代码执行关卡通关笔记
多个线程同步执行,多个线程依次执行,多个
php 没事记录下常用方法 (TP5.1)
php之jwt
2021-09-18
上一篇文章      下一篇文章      查看所有文章
加:2021-09-08 10:26:21  更:2021-09-08 10:28:40 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 1:32:00-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码