分享

hive:insert into结果数据偶发性丢失

有个hivesql:insert into table xxx partition(dt=xxx) select xxxx

之前使用textfile文件格式时没问题,近期调整为parquet格式+snappy压缩,结果表就开始偶发性的丢数据,对应的hdfs目录下对应文件也丢失了

注:insert into的任务有很多,都是对同一个结果表同一个分区插入,而丢失常出现在多个任务同时执行时

麻烦大佬们帮忙!!!谢谢

已有(1)人评论

跳转到指定楼层
阿飞 发表于 2021-8-7 19:30:09
可能是bug,建议升级版本
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条