分享

流式文件的处理

需求:有一加密的流式文件 想使用分布式的方式加快解密(解密前是流式文件,解密后的数据是有格式的)。
疑惑:想用sequenceFileInputFormat 但查官方文档,只简单说sequencefile是自己指定key、value。现在没有什么思路。
方案: 求解决方案和提示。

已有(3)人评论

跳转到指定楼层
NEOGX 发表于 2015-7-23 15:52:55
只要会写mapreduce即可,这个格式自己指定即可。

例如下面:
1.png


参考:
新手指导,该如何在开发环境中,创建mapreduce程序
http://www.aboutyun.com/thread-7945-1-1.html


这个格式一行代码即可搞定。这个属于mapreduce内部原理,我们干涉不多。
重要的是map和reduce函数的实现。

更多格式参考
MapReduce的输入输出格式






回复

使用道具 举报

zcfightings 发表于 2015-7-23 16:21:20
我个人理解数据格式 可能是 key1(value1的长度)  value1, key2 value2......。总之 你得判断你得一个value 到哪儿截断
回复

使用道具 举报

tang 发表于 2015-7-24 11:04:25
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条