IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 使用RestCloud ETL轻松解决WebService数据同步 -> 正文阅读

[大数据]使用RestCloud ETL轻松解决WebService数据同步

当前许多企业的业务系统甚至是SAAS系统只能提供WebService接口,如SAP、Workday等。

如何才能将众多的WebService接口同步到本地或数据中心呢?

传统的做法是通过编写代码实现,该做法不仅开发效率低而且维护困难,任何接口的变更都需要重新修改代码。如果有一种能简单、高效地轻松解决该问题的工具,这应该是所有数据集成开发工程师的共同需求。

RestCloud ETL正是一款这样的工具,以下分享如何使用RestCloud ETL工具无需编码,只需简单两步即轻松完成WebService数据同步方法。

一、实现原理

RestCloud ETL提供100+的数据组件,这里我们只需要使用其中2个组件:WebService调用组件,表输出组件即可轻松实现WebService的数据同步

实现原理如下图:

WebService调用组件完成WebService接口接入、XML数据解析、数据格式;表输出组件完成格式后的数据加载到数据库中,表输出组件支持几十种数据源。

二、实现过程

2.1、登录RestCloud ETL平台

进入集成开发应用开发页面

?创建一个WebService数据同步任务

2.2、WebService数据同步流程设计

2.2.1 流程设计

在流程设计页面,拖拽出两个组件:

2.2.2配置组件信息:

1、配置WebService

WebService配置项中在输入WebService接口URL:

这里我们将获取公网上的一个WebService接口服务地址如下:http://ws.webxml.com.cn/WebServices/WeatherWS.asmx

注意这个WebService有好几个方法我们需要在节点的Header中SOAPAction中指定具体调用其中的那一个方法。

?我们调用他其中的一个方法获取区域以及编码数据然后传到mysql中进行存储。

使用ETL调用WebService接口实时拉取数据到本地数库中

输入参数的XML可以使用SoapUI工具进行解析然后复制进来即可,这样我们的WebService节点就配置完成了。

后面的MySql节点就比较容易了,可以提前先建好表,也可以由ETL任务自动创建表,我们这里选择由ETL工具自动建表并输出数据到mysql。

  1. 配置表输出信息

这里输入一张不存在的表即可,系统会自动创建这张表

?然后配置这张表要接收数据的字段,系统将根据此配置字段进行数据库表的创建。

输出选项中我们选择第一次执行时清空目标表,自动建表,逐条更新即可,配置完成后保存流程,即可以开始调试运行,现在我们来运行一下看看效果。

2.3 运行调试

?点击运行,选择单步调试,可以看到拉取的区域数据,并会存入到mysql中

?在调试界面中我们可以看到拉取到了79条数据,再点下一步即可存入到mysql

?任务运行结果显示成功79条数据到mysql中,我们可以去mysql表中预览一下是不是把区域数据拉到mysql中了。

使用ETL调用WebService接口实时拉取数据到本地数库中

打开mysql客户端可以看到WebSerivce中的数据已经成功拉取到本地mysql中了,如果调试没有问题我们就可以给他安排一个定时任务,定时同步webservice中的数据到本地即可。

使用ETL调用WebService接口实时拉取数据到本地数库中

可以选择每天晚上同步一次或其他同步时间可以自定义同步频率

上面我们就通过RestCloud ETL简单两步配置即实现了WebService接口的数据拉取同步任务,可以说是非常简单。

三、RestCloud ETL数据集成自动化

RestCloud ETL社区版是一款数据集成工具,提供可视化多数据管道构建、数据源管理、运行监控及权限管理功能。RestCloud作为一家数据集成自动化创新企业,我们致力于成为世界级的数据集成平台,我们将为此不懈努力,不断前行。

感谢您对我们的关注和支持!如需了解更多的产品相关信息

请加入RestCloud ETL社区免费下载体验,下载地址:https://etl.restcloud.cn

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-04-26 11:47:11  更:2022-04-26 11:50:37 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 2:35:58-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码