分享

spark map返回list,带[(,带u,有啥方法去掉这些,保存文本文件

data=lines.map(lambda line:line.split(",")).map(lambda record: (record[0], record[1])
print data.collect()或者data.saveAsTextFile
[(u'1', u'2'), (u'3', u'4'), (u'1', u'6')]

已有(3)人评论

跳转到指定楼层
einhep 发表于 2017-9-21 07:22:20
思路:
[(u'1', u'2'), (u'3', u'4'), (u'1', u'6')]

上面其实是map的key和value,取出key或则value,然后进行字符替换replace即可,将u替换为空,然后通过trim去掉空格。
回复

使用道具 举报

ananan36 发表于 2017-9-21 14:33:51
einhep 发表于 2017-9-21 07:22
思路:
[(u'1', u'2'), (u'3', u'4'), (u'1', u'6')]

那(呢,不大可能这样用replace吧
回复

使用道具 举报

starrycheng 发表于 2017-9-22 07:49:49
ananan36 发表于 2017-9-21 14:33
那(呢,不大可能这样用replace吧

这应该是Scala的数据结构的形式。方法其实很多种,既然不想这种结构输出,那你可以换成别的数据结构。
比如数组,set等。或则你直接取出值来,保存到文件。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条