实际生产环境里应用MapReduce的问题

rsgg03 · 发表于 2015-3-12 13:06:31

seraph50 发表于 2015-3-12 13:00
我其实想知道的是实际生产环境里面是如何应用实现好的MapReduce，难道都是打包成Jar么

打包其实就是部署。所以是需要打包的

seraph50 · 发表于 2015-3-12 13:30:08

提示: 作者被禁止或删除内容自动屏蔽

rsgg03 · 发表于 2015-3-12 14:21:00

seraph50 发表于 2015-3-12 13:30
有这样一个程序，部署该程序的机器不属于hadoop集群中的一台，这个程序要定时提交一个mapreduce任务给had ...

可以不属于集群中的一台，但是必须模拟hadoop环境，然后通过shell提交即可

seraph50 · 发表于 2015-3-12 20:19:48

提示: 作者被禁止或删除内容自动屏蔽

sixian0803@163. · 发表于 2015-3-13 10:34:06

seraph50 发表于 2015-3-12 13:00
我其实想知道的是实际生产环境里面是如何应用实现好的MapReduce，难道都是打包成Jar么

这个当让是即使是远程调控也需要打成jar包因为是分布式的必须将jar包分发到各个节点上才行

蒲公英的梦想 · 发表于 2015-3-30 01:00:46

要打成jar包的

yangyufans · 发表于 2016-10-31 11:43:12

这个问题解决了吗？我也遇到同样的问题，sping mvc 将打包的jar到集群中运行，本地执行main方法是可以的，但是在tomcat容器中调用就不对了

yongjian3311 · 发表于 2017-3-15 17:59:46

楼主，你想在本地开发然后马上编译让远程主机执行？

梦想家TRS · 发表于 2017-5-13 11:26:27

很实用，学写了

图文精华