IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> KETTEL-Can‘t run transformation due to plugin missing -> 正文阅读

[大数据]KETTEL-Can‘t run transformation due to plugin missing

问题异常:

2022/03/22 15:04:58 - JSON input.0 - ERROR (version 8.3.0.0-371, build 8.3.0.0-371 from 2019-06-11 11.09.08 by buildguy) : Can't run transformation due to plugin missing
[ERROR][2022-03-22T15:04:58.073+0800][init of JSON input.0 (Thread-87)] org.pentaho.di.trans.Trans : []  Can't run transformation due to plugin missing
2022/03/22 15:04:58 - JSON input.0 - ERROR (version 8.3.0.0-371, build 8.3.0.0-371 from 2019-06-11 11.09.08 by buildguy) : 错误初始化步骤[JSON input]
[ERROR][2022-03-22T15:04:58.073+0800][init of JSON input.0 (Thread-87)] org.pentaho.di.trans.Trans : []  错误初始化步骤[JSON input]
2022/03/22 15:04:58 - 表输出.0 - Connected to database [test] (commit=1000)
2022/03/22 15:04:58 - ktr_sf_https_encrypt - ERROR (version 8.3.0.0-371, build 8.3.0.0-371 from 2019-06-11 11.09.08 by buildguy) : 步骤 [JSON input.0] 初始化失败!
[ERROR][2022-03-22T15:04:58.143+0800][pool-3-thread-1] org.pentaho.di.trans.Trans : []  步骤 [JSON input.0] 初始化失败!
[ERROR][2022-03-22T15:04:58.150+0800][pool-3-thread-1] _undef||spanid=lathe-kettle||cspanid=||traceid=||running elt task error,message: 
无法初始化至少一个步骤.  执行无法开始!

缺少JSON input 的plugin插件

解决方法一:

如果你是kettle官网下载的工具,一般不会报这个错,报的话,取工具包里查看plugin里是否有

kettle-json-plugin-core这个包以及包下是否有jar包等如图

代码实现的kettle功能此问题解决方法:

如果你是java代码实现的kettle功能,这里你要看下是是否代码集成了这个插件。

方法一:

在初始化类里加上这段内容

StepPluginType.getInstance().getPluginFolders().
                    add(new PluginFolder("/Users/desktop/data-integration/plugins/kettle-json-plugin",
                            false, true))

?

?这种需要把你本地路径的插件包加载到项目中,运行可成功

因为是自己引入了kettle包实现的kettle核心同步功能,而且该包无法通过pom注入方式解决

而且项目发布上线的仓库里也没有该包,如果想再上面的代码可以发布需要人工把包上传到服务器,如果是容器,需要把包放到项目里,然后再通过项目脚本,把文件copy到项目文件下加载。

?方法二:

通过copy kettle的源码,把插件类copy到项目中

Kettle工具:Download Pentaho from Hitachi Vantara from SourceForge.net
Kettle源码GitHub - pentaho/pentaho-kettle: Pentaho Data Integration ( ETL ) a.k.a Kettle

我本次缺失的插件是JSON input 因此,我找到源码中的JSON input,把代码copy下来

路径如下图:?

copy后的结构如下,没有继续分包了,上面的图里框住的都copy下来。注意:如果copy源码,pom里就不能注入下面的jar包。

<!--<dependency>
    <groupId>org.pentaho.di.plugins</groupId>
    <artifactId>kettle-json-plugin-core</artifactId>
    <version>8.3.0.0-371</version>
    <version>9.0.0.0-20181104.095715-119</version>
</dependency>-->

?源码copy完成后,再初始化方法里,加载插件,我这里加入两个插件,一个es,一个jsoninput

其中registerCustom的参数,对应meta类的@Step 注解里的定义

/**
     * 这里需要可以通过注解的形式来做
     * 1 动态解析出插件的编码、名称等
     */
    private void registryCustomPluginList(){
        try {
            StepPluginType.getInstance().registerCustom(ElasticSearchBulkMeta.class,
                    "ElasticSearchBulk.TypeLongDesc.ElasticSearchBulk",
                    "ElasticSearchBulk",
                    "ElasticSearchBulk.TypeLongDesc.ElasticSearchBulk",
                    "",null);
            StepPluginType.getInstance().registerCustom(JsonInputMeta.class,
                    "JsonInput.name",
                    "JsonInput",
                    "JsonInput.name",
                    "",null);
        } catch (KettlePluginException e) {
            e.printStackTrace();
        }
    }

集成完毕后运行,成功。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-03-24 00:37:48  更:2022-03-24 00:39:30 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 7:06:30-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码