[大数据]Sqoop抽取Postgresql数据到HDFS和Hive时数据量增多

1、现象：
postgresql源表数据量：

抽取到HDFS上和Hive之后数据量：


2、原因：
使用sqoop从pg库导出数据至HDFS或Hive时，如果数据中包含Hive指定的列分隔符，如”\001”或”\t”，那么在Hive中就会导致数据错位；如果数据中包含换行符”\n”，那么就会导致原先的一行数据，在Hive中变成了两行或多行数据，导致数据量增多。

正常的：

3、解决：
在sqoop执行import导入命令时添加参数–hive-drop-import-delims，作用是在导入时从字符串字段中删除”\n”、”\r”和”\01”。或者使用参–hive-delims-replacement，作用是在导入时将字符串字段中的”\n”、”\r”和”\01”替换为指定字符串。

命令：
sqoop import --D tez.queue.name=$queue_name --connect $pgsq{l}_{h}ds{c}_d{b}_{c}onnection/$pg_db_name --username $pg_uname --password $p{g}_{u}passwd??target?dir/origi{n}_{d}ata/$pg_db_name/$1/$db_date --delete-target-dir --num-mappers 1 --fields-terminated-by “\t” --hive-drop-import-delims --null-string ‘\N’ --null-non-string ‘\N’ --query “$2”’ and $CONDITIONS;’