hive数据紊乱问题

hive表： test（外部表，字段数：40+）
HDFS路径：/main/tmp/test/20150702
使用如下命令：
alter table test add partition(ds='20150702') location '/main/tmp/test/20150702';

在hive中查询时，会发现有些字段出现错乱了，即：字段串了，1亿的数据量，大概会有3W条左右。

谢谢高手解答！

自己在原始文件之前加了过滤，如果字段没达到hive字段的数目就抛弃了，所以数据应该没问题。

hrluo1990 发表于 2015-7-3 10:40
自己在原始文件之前加了过滤，如果字段没达到hive字段的数目就抛弃了，所以数据应该没问题。

楼主可以这样，把里面的数据贴出很少一部分，做一个测试。
最多会出现乱码问题，至于错行，可能是分隔符的问题。