[大数据]关于Sqoop导出数据报错Can‘t parse input data 和 NoSuchElementException错误的排查

原因：多为分隔符导致的字段错位造成数据无法转换问题

解决方案

在确保hive端的分隔符和sqoop导出指定的分隔符（比如--input-fields-terminated-by=‘\011’）一致之后（建表和sqoop语句都没问题）——

在hive的表最后加一个字段，比如可以为day_id,month_id，这类长度固定且不易变化的值，重新insert into overwrite之后查询这个字段，如果有异常，一般可以排查出来。

比如我今天遇到的这个情况就是，我在最后加了一个字段month_id，进行group by?

select month_id 
from mreport_feed.tmp_dmf_manu_qty_dd_c1 
where op_month='202107' 
group by month_id

发现有为0的，为11111的，果断查找出错位的字段——客户的物料名称上有制表符，正好我们用制表符作为分隔符，导致数据全部往后偏移