试用hadoop jvm复用配置

查看数: 3229 | 评论数: 0 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2014-9-15 18:19

正文摘要:

Hadoop默认为每个task(map task 或者 reduce task) 启动一个jvm。鉴于目前小文件过多的问题,设置了jvm复用,即一个job内,多个task共享jvm,避免多次启动jvm,浪费资源和时间。 测试Job信息:map:4715个reduce ...

回复

关闭

推荐上一条 /2 下一条