图文精华

About云-梭伦科技»专题 › 交流区 › 技术交流 › Spark › spark数据清洗问题
分享

spark数据清洗问题

smfswxj 发表于 2017-12-2 22:15:58 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 3 6380
About云VIP帮助找工作和提升
下载.png
用什么函数可以是的kbdoc-00001只对应一个值了


回复

使用道具 举报

自定义广告语

已有(3)人评论

跳转到指定楼层
正序浏览
langke93 发表于 2017-12-2 22:24:07
尝试distinct（）
.distinct().take(4)

回复

使用道具 举报

smfswxj 发表于 2017-12-3 08:58:44
langke93 发表于 2017-12-2 22:24
尝试distinct（）
.distinct().take(4)

这种方法我用过，没用


回复

使用道具 举报

smfswxj 发表于 2017-12-3 11:04:38
t.map(lambda l:l.split(":")).reduceByKey(lambda x, y: y).sortByKey().collect()
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
smfswxj

中级会员

关注

  • 13

    主题

  • 39

    帖子

  • 3

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000