图文精华

About云-梭伦科技»专题 › 交流区 › 技术交流 › Spark › 怎么合并parquet小文件
分享

怎么合并parquet小文件

ab0412 发表于 2016-5-4 18:51:31 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 24718
About云VIP帮助找工作和提升
大家好，请教一个怎么合并 parquet小文件，现在跑个spark job 出来一堆小文件。怎么快速的合并.
回复

使用道具 举报

自定义广告语

已有(2)人评论

跳转到指定楼层
正序浏览
bioger_hit 发表于 2016-5-4 19:39:38
尝试下面方法
df.coalesce(1).write.parquetFile(...)
回复

使用道具 举报

ab0412 发表于 2016-5-5 10:05:35
这个我之前试过 ，效率不高啊，比较慢
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
ab0412

新手上路

关注

  • 9

    主题

  • 135

    帖子

  • 9

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000