|
Sqoop User Guide (v1.4.7) (apache.org)
Sqoop 安装及配置
sqoop 命令说明
数据抽取方式介绍
sqoop 数据抽取（即导入和导出，抽取的双方是相对的）的方式有以下两种
① Sqoop API（使用较多）
数据的格式支持比较少，数据允许覆盖，不要求源表和目标表字段相同 (字段名称和个数都可以不相同) ，它抽取的方式是将字段按顺序插入，不够的字段为 Null
② HCatalog API
支持的数据格式比较多（RCFile、 ORCFile、 CSV、 JSON、SequenceFile），数据不允许覆盖，只能追加，字段个数可以不相同，但是字段名必须相同，否则会报错 NullPointerException
数据抽取命令类型
① 数据导入（import）
1. 关系型数据库导入数据到 HDFS
2. 关系型数据库导入数据到 HIVE
② 数据导出（export）
1. HIVE 导出数据到关系型数据库
数据库连接相关参数
| 参数 | 说明 |
|---|
| –connect | 连接关系型数据库的URL | | –help | 打印帮助信息 | | –driver | JDBC 的 driver class | | –password | 连接数据库的密码 | | –username | 连接数据库的用户名 | | –verbose | 在控制台打印出详细信息 |
import 相关参数
| 参数 | 说明 |
|---|
| –enclosed-by | 给字段值前加上指定的字符 | | –escaped-by | 对字段中的双引号加转义符 | | –fields-terminated-by | 设定每个字段是以什么符号作为结束，默认为逗号 | | –lines-terminated-by | 设定每行记录之间的分隔符，默认是 \n | | –mysql-delimiters | Mysql默认的分隔符设置，字段之间以逗号分隔，行之间以\n分隔，默认转义符是\，字段值以单引号包裹。 | | –optionally-enclosed-by | 给带有双引号或单引号的字段值前后加上指定字符。 | | -m | 指定并行处理的MapReduce任务数量。 -m不为1时，需要用split-by指定分片字段进行并行导入，尽量指定int型。 | | –split-by id | 如果指定-split by, 必须使用$CONDITIONS关键字, 双引号的查询语句还要加\ | | –query或–e | 将查询结果的数据导入，使用时必须伴随参–target-dir，–hcatalog-table，如果查询中有where条件，则条件后必须加上CONDITIONS关键字。 如果使用双引号包含sql，则CONDITIONS前要加上\以完成转义：$CONDITIONS |
export 相关参数
| 参数 | 说明 |
|---|
| –input-enclosed-by | 对字段值前后加上指定字符 | | –input-escaped-by | 对含有转移符的字段做转义处理 | | –input-fields-terminated-by | 字段之间的分隔符 | | –input-lines-terminated-by | 行之间的分隔符 | | –input-optionally-enclosed-by | 给带有双引号或单引号的字段前后加上指定字符 |
hive 相关参数
| 参数 | 说明 |
|---|
| –hive-delims-replacement | 用自定义的字符串替换掉数据中的 \r\n 和 \013 \010 等字符 | | –hive-drop-import-delims | 在导入数据到hive时，去掉数据中的 \r\n\013\010 这样的字符 | | –map-column-hive | 生成hive表时，可以更改生成字段的数据类型 | | –hive-partition-key | 创建分区，后面直接跟分区名，分区字段的默认类型为 string | | –hive-partition-value | 导入数据时，指定某个分区的值 | |
| hive 的安装目录，可以通过该参数覆盖之前默认配置的目录 | | –hive-import | 将数据从关系数据库中导入到hive表中 | | –hive-overwrite | 覆盖掉在hive表中已经存在的数据 | | –create-hive-table | 默认是false，即，如果目标表已经存在了，那么创建任务失败 | | –hive-table | 后面接要创建的 hive 表，默认使用 mysql 的表名 | | –table | 指定关系数据库的表名 |
从关系型数据库导入数据到 hive
① 全量导入
sqoop import \
--connect jdbc:mysql://117.125.88.163:3306/test \
--username root \
--password 123abc \
--table teacher \
--hive-table ods.teacher \
--hive-import \
--hive-overwrite \
--fields-terminated-by ',' \
-m 1
② 增量导入
通过 sql 语句 + where 条件 来控制数据的增量
sqoop import \
--connect jdbc:mysql://117.125.88.163:3306/test \
--username root \
--password 123abc \
--query "select * from emp where id > 1203 and \$CONDITIONS" \
--fields-terminated-by '\t' \
--hcatalog-database sqooptohive \
--hcatalog-table emp \
-m 1
sqoop import \
--connect jdbc:mysql://117.125.88.163:3306/test \
--username root \
--password 123abc \
--query "select * from emp where \$CONDITIONS" \
--fields-terminated-by '\t' \
--hcatalog-database sqooptohive \
--hcatalog-table emp \
-m 1
|