spark数据清洗问题

查看数: 6381 | 评论数: 3 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2017-12-2 22:15

用什么函数可以是的kbdoc-00001只对应一个值了

smfswxj 发表于 2017-12-3 11:04:38

t.map(lambda l:l.split(":")).reduceByKey(lambda x, y: y).sortByKey().collect()

smfswxj 发表于 2017-12-3 08:58:44

langke93 发表于 2017-12-2 22:24
尝试distinct（）
.distinct().take(4)

这种方法我用过，没用

langke93 发表于 2017-12-2 22:24:07

尝试distinct（）
.distinct().take(4)

图文精华