分享

sqoop2的输出文件问题

feature09 发表于 2017-8-23 01:48:23 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 5382
使用sqoop2,版本是1.99.7。我的输出路径下,一共输出了8个文件。。。总共只有20多条的数据,每个文件只有三四条的数据。。。

在哪里可以更改输出成一个文件呢。?

已有(2)人评论

跳转到指定楼层
nextuser 发表于 2017-8-23 09:33:26
可以尝试三个办法:
使用sqoop -m设置为1,这样map有一个,不出意外,reduce可能为1一个。
如果上面的办法没有奏效,还可以从hadoop的配置文件入手。
sqoop本质跑的是mapreduce,所以hadoop配置文件中设置下参数。这个也存在一个缺点就是跟分区函数还有些关系。
第三个办法,就是通过shell来合并文件。
回复

使用道具 举报

feature09 发表于 2017-8-23 12:54:45
上午测试了。
是改变Loaders: 1

官网给的是:
Extractors: 2
Loaders: 2
输出的是两个文本。
我用的是:
Extractors: 2
Loaders: 1
然后就输出一个文本了。

如果默认回车,就会产生好几个。之前就是产生了10个文本。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条