IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 系统运维 -> 【运维问题】datax使用rdbmsreader将clickhouse数据同步到hdfs中 -> 正文阅读

[系统运维]【运维问题】datax使用rdbmsreader将clickhouse数据同步到hdfs中

背景

datax中rdbmsreader是用于关系型数据库的同步,使用它对clickhouse进行尝试,将clickhouse数据同步到hdfs。由于服务器已安装datax,故直接进行尝试。

处理过程

1、直接使用rdbmsreader去读取clickhouse的数据。

报错:no suitable driver found for JDBC:clickhouse://xx.xx.xx.xxx:8123/。。。。。

解决方案: 下载clickhouse的jar包:clickhouse-jdbc-0.2.4-shaded.jar并放到datax下的目录datax/plugin/reader/rdbmsreader/libs下面。

2、再次执行datax tmp.json去读clickhouse数据。

报错:java.lang.NoClassDefFoundError:net/jpountz/lz4/LZ4Factory

解决方案:

  • 缺少相关的依赖,从git上拉取源码,修改rdbmsreader的pom.xml文件。具体路径:/DataX/rdbmsreader/pom.xml,添加上依赖。
    具体如何拉代码并打包,可见这篇文章:datax中elasticsearchwriter组件的扩展
  <!-- https://mvnrepository.com/artifact/net.jpountz.lz4/lz4 -->
  <dependency>
    <groupId>net.jpountz.lz4</groupId>
    <artifactId>lz4</artifactId>
    <version>1.3.0</version>
  </dependency>
  • 打包完后,在DataX/rdbmsreader/target/datax/plugin/reader/rdbmsreader/libs目录下新增了一个jar包lz4-1.3.0.jar,这个就是缺少的依赖。
  • 最终,将在DataX/rdbmsreader/target/datax/plugin/reader/rdbmsreader目录下新生成rdbmsreader-0.0.1-SNAPSHOT.jar包与libs下面的lz4-1.3.0.jar。
  • rdbmsreader-0.0.1-SNAPSHOT.jar:替换掉datax的plugin目录下datax/plugin/reader/rdbmsreader/的rdbmsreader-0.0.1-SNAPSHOT.jar
  • lz4-1.3.0.jar:复制到rdbmsreader的libs目录下。

至此,便可以完成同步,搞定!

参考文章:
1、java.lang.NoClassDefFoundError: net/jpountz/util/SafeUtils

  系统运维 最新文章
配置小型公司网络WLAN基本业务(AC通过三层
如何在交付运维过程中建立风险底线意识,提
快速传输大文件,怎么通过网络传大文件给对
从游戏服务端角度分析移动同步(状态同步)
MySQL使用MyCat实现分库分表
如何用DWDM射频光纤技术实现200公里外的站点
国内顺畅下载k8s.gcr.io的镜像
自动化测试appium
ctfshow ssrf
Linux操作系统学习之实用指令(Centos7/8均
上一篇文章      下一篇文章      查看所有文章
加:2021-07-29 12:03:21  更:2021-07-29 12:04:01 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/25 16:28:12-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码