分享

Hadoop在Mapper中这2步如何实现?

jiangeng59 发表于 2016-3-1 17:17:09 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 8923
1.从hdfs上读取文件array.txt构建一个数组array

2.从hdfs上读取文件resource.txt,使用数组array验证某些东西


这2步在普通的java程序中很好实现,但在hadoop中如何操作

已有(3)人评论

跳转到指定楼层
s060403072 发表于 2016-3-1 17:32:24
忘掉hadoop,把它视为普通Java程序。
把你的传统程序,放到mapreduce框架里即可。
也就是把你的程序可以都放到reduce里。map用来分割你的文件。
回复

使用道具 举报

Alkaloid0515 发表于 2016-3-1 20:00:26
三步:
1.把文件放到hdfs上
2.会mapreduce编程
3.把传统程序放到框架里

下面仅供参考
如何让传统程序转换成mapreduce
http://www.aboutyun.com/forum.php?mod=viewthread&tid=8314



回复

使用道具 举报

jiangeng59 发表于 2016-3-1 22:56:17
Alkaloid0515 发表于 2016-3-1 20:00
三步:
1.把文件放到hdfs上
2.会mapreduce编程

ok 谢谢了!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条