搜索
搜 索
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
›
日志
发布
日志
上传
相册
添加
分享
记录
日志
好友的日志
我的日志
随便看看
发表新日志
分享
store file 类文件及说明记录下来
desehawk
2015-1-7 16:50
如果这样的话,它只能单个排除store file。 关于这个类,也找到相关信息,确实可以获取修改文件的时间,但是个人觉得这个可能是store file的合并或则分裂时间 函数链接: StoreFileInfo StoreFileInfo函数说明
448 次阅读
|
0
个评论
分享
hbase的read读取查询数据操作的认识
desehawk
2015-1-7 15:03
这里面说的read既包括get,也包括scan,实际底层来看这两个操作也是一样的。 我们将要讨论的是,当我们从一张表读取数据的时候hbase到底是怎么处理的。 分二种情况来看,第一种就是表刚创建,所有put的数据还在memstore中,并没有刷新到hdfs上;第二种情况是,该store已经进行多次的flush操作,产生了多个storefile了。 ...
1208 次阅读
|
0
个评论
分享
CDH5.2的Maven依赖
desehawk
2015-1-3 12:24
之前一直结合Maven开发Hadoop2.2.0的程序,环境换成CDH5.2后报错,发现是Maven依赖库的问题。 之前一直使用 http://mvnrepository.com/ 查找maven依赖,但这类网站只能查到通用的maven依赖,没有包含CDH依赖,还好Cloudera提供了CDH的依赖: http://www.cloudera.com/content/cloudera/en/documentation/core/l ...
995 次阅读
|
0
个评论
热度
1
分享
Window中调试HBase问题总结
desehawk
2014-12-31 22:56
1.好久没用log4j了,转到logback好多年了,hbase程序运行时,报缺少log4j配置,那么,就转去logback吧(以下的XXX表示版本号)。 原先lib包里面有log4j-XXX.jar、slf4j-api-XXX.jar、slf4j-log4j12-XXX.jar,干掉log4j-XXX.jar和slf4j-log4j12-XXX.jar,加入jcl-over-slf4j-XXX.jar,log4j-ove ...
1257 次阅读
|
0
个评论
分享
flume监控
desehawk
2014-12-29 22:19
Flume本身提供了http, ganglia的监控服务,而我们目前主要使用zabbix做监控。因此,我们为Flume添加了zabbix监控模块,和sa的监控服务无缝融合。 另一方面,净化Flume的metrics。只将我们需要的metrics发送给zabbix,避免 zabbix server造成压力。目前我们最为关心的是Flume能否及时把应用端发送过来的日志写到Hdfs上, ...
1970 次阅读
|
0
个评论
分享
Spark源码分析-client 如何选择将task提交给那个excutor
desehawk
2014-12-29 01:12
park中很重要的一点就是task具体分配到哪个excutor上执行,如果分配不合理,将会消耗很多额外的资源。例如:executor1用flume receiver接收到数据,并将数据保存到block1上,excutor2 用flume receiver接收到数据,并将数据保存到block2上。RDD将有两个patition,将对应产生两个task. task1处理block1,task2处理block2.如果 ...
534 次阅读
|
0
个评论
分享
topology执行流程
desehawk
2014-12-28 17:06
1. 首先storm通过调用spout的nextTuple方法来获取下一个tuple, Spout通过open方法参数里面提供的SpoutOutputCollector来发射新tuple到它的其中一个输出消息流, 发射tuple的时候spout会提供一个message-id,通过这个message-id来追踪这个tuple。接下来, 这个发射的tuple被传送到消息处理者bolt那里, storm会跟踪由此所产生 ...
442 次阅读
|
0
个评论
分享
hbase一些相关概念
desehawk
2014-12-28 16:25
写请求处理过程 1 client向region server提交写请求 2 region server找到目标region(具体哪个region,由put的表来决定) 3 region检查数据是否与schema一致 4 如果客户端没有指定版本,则获取当前系统时间作为数据版本 5 将更新写入WAL log 6 将更新写入Memstore 7 判断Memstore的是否 ...
700 次阅读
|
0
个评论
分享
LSM树由来、设计思想以及应用到HBase的索引
desehawk
2014-12-27 02:38
讲LSM树之前,需要提下三种基本的存储引擎,这样才能清楚 LSM树的由来 : 哈希存储引擎 是哈希表的持久化实现,支持增、删、改以及随机读取操作, 但不支持顺序扫描 ,对应的存储系统为key-value存储系统。对于key-value的插入以及查询,哈希表的复杂度都是O(1),明显比树的操作O(n)快,如果不需要有序的遍历数据, ...
974 次阅读
|
0
个评论
分享
python在线视频
desehawk
2014-12-23 19:02
http://edu.51cto.com/lesson/id-48003.html
477 次阅读
|
0
个评论
1
2
3
4
5
6
7
8
9
10
/ 10 页
下一页
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈