about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 669|回复: 5

[疑问解答] 同时输出多个orc文件

[复制链接]

10

主题

2

听众

0

收听

中级会员

Rank: 3Rank: 3

积分
573
发表于 2018-9-12 00:13:29 | 显示全部楼层 |阅读模式
目的:一次读取很多不同的目录,每个目录生成不同的orc格式文件,输出到不同的目录下

请教如何实现生成不同的orc格式文件输出到各自目录下????

48

主题

7

听众

5

收听

高级会员

Rank: 4

积分
2125
发表于 2018-9-12 08:24:59 | 显示全部楼层
妈来,为啥还有这样的需求。
那就开不同的任务,每个任务处理一个目录。输出到指定目录。
一个任务输入多个目录,本身就把他们混合到一起了,怎么在输出到不同目录。

10

主题

2

听众

0

收听

中级会员

Rank: 3Rank: 3

积分
573
 楼主| 发表于 2018-9-12 21:59:14 | 显示全部楼层
s060403072 发表于 2018-9-12 08:24
妈来,为啥还有这样的需求。
那就开不同的任务,每个任务处理一个目录。输出到指定目录。
一个任务输入多 ...

成千上万的表啊

10

主题

2

听众

0

收听

中级会员

Rank: 3Rank: 3

积分
573
 楼主| 发表于 2018-9-14 16:40:47 | 显示全部楼层
想写一个multipleOutputformat 没写成功

48

主题

7

听众

5

收听

高级会员

Rank: 4

积分
2125
发表于 2018-9-14 21:31:01 | 显示全部楼层
jinwensc 发表于 2018-9-14 16:40
想写一个multipleOutputformat 没写成功

是spark吗?参考这个试试:

Spark如何实现多文件输出

http://www.aboutyun.com/home.php ... do=blog&id=1792

10

主题

2

听众

0

收听

中级会员

Rank: 3Rank: 3

积分
573
 楼主| 发表于 2018-9-19 09:22:14 | 显示全部楼层
s060403072 发表于 2018-9-14 21:31
是spark吗?参考这个试试:

Spark如何实现多文件输出

不行,输出文本文件是可以   orc格式文件不可以
我也没改成功
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /3 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2018-11-19 04:46 , Processed in 0.360520 second(s), 28 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表