图文精华

hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...

About云-梭伦科技 › 日志

日志

分享 MapReduce运行错误：Unknown protocol to name node: org.apache.hadoop.mapred.JobSu ...: desehawk 2014-12-5 12:59; apReduce运行异常：Unknown protocol to name node: org.apache.hadoop.mapred.JobSubmissionProtocol 描述：job 配置错误异常： 14/03/26 22:23:27 ERROR security.UserGroupInformation: PriviledgedActionException as:allen cause:org.apache.hadoop.ipc.RemoteException: java.io.IOException: Unknown ...; 1219 次阅读|0 个评论

分享 mapreduce top n: desehawk 2014-11-30 16:20; 在最初接触mapreduce时，top n 问题的解决办法是将mapreduce输出（排序后）放入一个集合中，取前n个，但这种写法过于简单，内存能够加载的集合的大小是有上限的，一旦数据量大，很容易出现内存溢出。今天在这里介绍另一种实现方式，当然这也不是最好的方式，不过正所谓一步一个脚印，迈好每一步，以后的步 ...; 666 次阅读|0 个评论

分享 Lucene的并发性安全性以及锁: desehawk 2014-11-30 15:11; 这部分内容将介绍三个紧密联系的主题：索引文件的并发访问、IndexReader和IndexWriter的线程安全性，以及Lucene用于避免索引被破坏而使用的锁机制。通常，Lucene的初学者们对这几个主题都存在一定的误解。而准确地理解这些内容是十分重要的，因为，当索引应用程序同时服务于大量不同的用户时，或为了满足一些突发性的 ...; 811 次阅读|0 个评论

分享 storm 笔记对Spout、Bolt的理解: desehawk 2014-11-27 21:53; Spout：简而言之，Spout从来源处读取数据并放入topology。Spout分成可靠和不可靠两种；当Storm接收失败时，可靠的Spout会对tuple（元组，数据项组成的列表）进行重发；而不可靠的Spout不会考虑接收成功与否只发射一次。而Spout中最主要的方法就是nextTuple（），该方法会发射一个新的tuple到topology，如果没有新tupl ...; 3430 次阅读|0 个评论

分享 storm ui上emit和transferred的区别: desehawk 2014-11-27 17:10; 最开始对storm ui上展示出来的emit和transferred数量不是很明白, 于是在storm-user上google了一把, 发现有人也有跟我一样的困惑, nathan做了详细的回答: emitted栏显示的数字表示的是调用OutputCollector的emit方法的次数. transferred栏显示的数字表示的是实际tuple发送到下一个task的计数. ...; 586 次阅读|0 个评论

分享 hadoop 、zookeeper命令总结: desehawk 2014-11-25 18:55; 每台节点启动zookeeper zkServer.sh start 检查每台节点zookeeper状态 zkServer.sh status 在主节点格式化zookeeper hdfs zkfc -formatZK 在各个节点启动jounal hadoop-daemons.sh start journalnode 在主节点格式化namenode hdfs namenode -format 启动namenode hadoop-daemon.sh start namenode 在第二个nam ...; 919 次阅读|0 个评论

分享 storm的架构图及相关说明: desehawk 2014-11-22 00:11; 户端提交拓扑到nimbus。 Nimbus针对该拓扑建立本地的目录根据topology的配置计算task，分配task，在zookeeper上建立assignments节点存储task和supervisor机器节点中woker的对应关系；在zookeeper上创建taskbeats节点来监控task的心跳；启动topology。 Supervisor去zookeeper上获取分配的tasks，启动 ...; 538 次阅读|0 个评论

分享 flume1.5.0.1+hbase0.98.7+hadoop1.2.1遇到的奇怪问题。: desehawk 2014-11-19 05:22; 如题： hdfs：hadoop1.2.1搭建的 hbase：0.98.7版本 flume：1.5.0.1版本 flume拿到日志sink到hbase中去，遇到的问题是这样的：往表中存入100条数据以后，就开始报错，是flume爆出来的： 2014-11-01 11:18:35,168 (SinkRunner-PollingRunner-DefaultSinkProcessor ...; 2611 次阅读|0 个评论

分享 Hadoop端口大全: desehawk 2014-11-19 02:11; 8019 ZooKeeperFailoverController，用于NNHA 8020 接收Client连接的RPC端口，用于获取文件系统metadata信息 8480 HTTP服务 8485 RPC服务 9000 IPC 9001 IPC 50010 DATANODE控制端口，主 ...; 728 次阅读|0 个评论

分享 cinder与swift的区别: desehawk 2014-11-14 19:34; cinder是为虚拟机硬盘服务的，虚拟机删除后，数据不删除; 604 次阅读|0 个评论

1 2 3 4 5 6 789 10 / 10 页下一页

推荐 /2

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / 京ICP备2020039040号简书网举报电话：021-34700000

意见
反馈