[网络协议] kettle组件HTTP client的使用方法

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 网络协议 -> kettle组件HTTP client的使用方法 -> 正文阅读

[网络协议]kettle组件HTTP client的使用方法

通过`HTTP client`抓取豆瓣电影信息

1. 逻辑分析

通过豆瓣网址https://movie.douban.com/解析数据的来源。
获取该数据的url链接https://movie.douban.com/j/search_subjects?type=movie&tag=热门&page_limit=50&page_start=0（过程略）
postman测试该接口可用性
配置kettle程序实时抓取入库。

2. 见图如见物

在这里插入图片描述

3. ETL无敌yyds软件之kettle配置过程

生成记录

将url接口解析成多个参数进行请求（可以动态改变该参数进行数据获取）
在这里插入图片描述

HTTP web service

通过http web service组件来请求数据，字段result来存储数据
在这里插入图片描述

字段选择

该组件可以改变字段的类型、字段的名称等等。
我通常使用该组件预览数据，debug等功能。
在这里插入图片描述

json输入

因为是JSON格式的数据，所以我们json输入用来解析http web service返回的result数据，“忽略不完整路径”，可以过滤掉不完整的路径，如果你确定所有的路径都是没问题的，那这个可有可无。通过json路径表达式来获取该字段的值，并且为它赋予一个字段名称。
在这里插入图片描述

数据去重

我们根据片名title字段对数据进行了去重操作
注意：kettle中去重数据之前必须对去重字段进行排序操作。
在这里插入图片描述

数据存入mysql模型表中

CREATE TABLE `douban_movie` (
  `id` int unsigned NOT NULL AUTO_INCREMENT,
  `rate` float(3,2) DEFAULT NULL COMMENT '评分',
  `title` varchar(127) DEFAULT NULL COMMENT '片名',
  `url` varchar(127) DEFAULT NULL COMMENT '电影链接',
  `cover` varchar(255) DEFAULT NULL COMMENT '海报',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=51 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

在这里插入图片描述
select * from douban_movie order by rate desc;