日志
- 分享
store file 类文件及说明记录下来
-
2015-1-7 16:50
-
如果这样的话，它只能单个排除store file。 关于这个类，也找到相关信息，确实可以获取修改文件的时间，但是个人觉得这个可能是store file的合并或则分裂时间 函数链接： StoreFileInfo StoreFileInfo函数说明
-
448 次阅读|0 个评论
- 分享
hbase的read读取查询数据操作的认识
-
2015-1-7 15:03
-
这里面说的read既包括get，也包括scan，实际底层来看这两个操作也是一样的。 我们将要讨论的是，当我们从一张表读取数据的时候hbase到底是怎么处理的。 分二种情况来看，第一种就是表刚创建，所有put的数据还在memstore中，并没有刷新到hdfs上；第二种情况是，该store已经进行多次的flush操作，产生了多个storefile了。 ...
-
1208 次阅读|0 个评论
- 分享
CDH5.2的Maven依赖
-
2015-1-3 12:24
-
之前一直结合Maven开发Hadoop2.2.0的程序，环境换成CDH5.2后报错，发现是Maven依赖库的问题。 之前一直使用 http://mvnrepository.com/ 查找maven依赖，但这类网站只能查到通用的maven依赖，没有包含CDH依赖，还好Cloudera提供了CDH的依赖： http://www.cloudera.com/content/cloudera/en/documentation/core/l ...
-
995 次阅读|0 个评论
热度 1
- 分享
Window中调试HBase问题总结
-
2014-12-31 22:56
-
1.好久没用log4j了，转到logback好多年了，hbase程序运行时，报缺少log4j配置，那么，就转去logback吧（以下的XXX表示版本号）。 原先lib包里面有log4j-XXX.jar、slf4j-api-XXX.jar、slf4j-log4j12-XXX.jar，干掉log4j-XXX.jar和slf4j-log4j12-XXX.jar，加入jcl-over-slf4j-XXX.jar，log4j-ove ...
-
1257 次阅读|0 个评论
- 分享
flume监控
-
2014-12-29 22:19
-
Flume本身提供了http, ganglia的监控服务，而我们目前主要使用zabbix做监控。因此，我们为Flume添加了zabbix监控模块，和sa的监控服务无缝融合。 另一方面，净化Flume的metrics。只将我们需要的metrics发送给zabbix，避免 zabbix server造成压力。目前我们最为关心的是Flume能否及时把应用端发送过来的日志写到Hdfs上， ...
-
1970 次阅读|0 个评论
- 分享
Spark源码分析-client 如何选择将task提交给那个excutor
-
2014-12-29 01:12
-
park中很重要的一点就是task具体分配到哪个excutor上执行，如果分配不合理，将会消耗很多额外的资源。例如:executor1用flume receiver接收到数据，并将数据保存到block1上，excutor2 用flume receiver接收到数据，并将数据保存到block2上。RDD将有两个patition,将对应产生两个task. task1处理block1，task2处理block2.如果 ...
-
534 次阅读|0 个评论
- 分享
topology执行流程
-
2014-12-28 17:06
-
1. 首先storm通过调用spout的nextTuple方法来获取下一个tuple, Spout通过open方法参数里面提供的SpoutOutputCollector来发射新tuple到它的其中一个输出消息流, 发射tuple的时候spout会提供一个message-id,通过这个message-id来追踪这个tuple。接下来， 这个发射的tuple被传送到消息处理者bolt那里， storm会跟踪由此所产生 ...
-
442 次阅读|0 个评论
- 分享
hbase一些相关概念
-
2014-12-28 16:25
-
写请求处理过程 1 client向region server提交写请求 2 region server找到目标region（具体哪个region，由put的表来决定） 3 region检查数据是否与schema一致 4 如果客户端没有指定版本，则获取当前系统时间作为数据版本 5 将更新写入WAL log 6 将更新写入Memstore 7 判断Memstore的是否 ...
-
700 次阅读|0 个评论
- 分享
LSM树由来、设计思想以及应用到HBase的索引
-
2014-12-27 02:38
-
讲LSM树之前，需要提下三种基本的存储引擎，这样才能清楚 LSM树的由来 ： 哈希存储引擎 是哈希表的持久化实现，支持增、删、改以及随机读取操作， 但不支持顺序扫描 ，对应的存储系统为key-value存储系统。对于key-value的插入以及查询，哈希表的复杂度都是O(1)，明显比树的操作O(n)快,如果不需要有序的遍历数据， ...
-
974 次阅读|0 个评论
- 分享
python在线视频
-
2014-12-23 19:02
-
http://edu.51cto.com/lesson/id-48003.html
-
477 次阅读|0 个评论
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
