立即注册 登录
About云-梭伦科技 返回首页

gefieder的个人空间 https://www.aboutyun.com/?18 [收藏] [复制] [分享] [RSS]

日志

分享 Centralized Cache Management in HDFS
2014-12-22 18:08
Centralized Cache Management inHDFS Overview HDFS中的集中式缓存管理是一个显式的管理缓存的机制,它允许用户指定被HDFS缓存的路径。NameNode将与磁盘上有所需的Block的DataNode通信,命令其在堆外缓存里缓存Block。 HDFS中的集中式缓存管理有许多重要的优势。 1.明确地防止频 ...
1528 次阅读|0 个评论 热度 1
分享 Hadoop中NullWritable不能乱用
2014-12-18 13:37
在hadoop 0.20.2版本中,各位有没有想过为什么wordcount实例 , map输出的value不用 NullWritalbe ? 实际上value 其实就起到了一个占位的作用。于是我自作聪明地改写了程序,把map的输出改成了NullWritable,结果发现在shuffle的过程中,并没有达到相同的key合并的效果。 具体原因有待进一步查明
1477 次阅读|3 个评论 热度 1
分享 HBase Call to namenodename:9000 failed on local exception: java.io.EOFException
2014-8-14 10:00
前几天把集群关闭了,换了一个新的版本。然后就发现集群再也起不来了。 依照以前的步骤一步一步下来。启动集群的时候出现了很奇怪的事情: master起不来,regionserver倒是启动了。 查看master日志. metrics.MasterMetrics: Initialized 2011-11-02 19:03:51,914 INFO org.apache.hadoop.hbase.master.Active ...
2652 次阅读|0 个评论 热度 1
关闭

推荐上一条 /2 下一条