日志
- 分享
Hbase建索引分析
-
2014-8-1 21:14
-
1. Hbase的一个例子，IndexBuilde r.建索引.代码及解析如下： Java代码 /** *Copyright2009TheApacheSoftwareFoundation * *LicensedtotheApacheSoftwareF ...
-
2744 次阅读|0 个评论
- 分享
hbase中的HFile文件格式详解
-
2014-8-1 20:55
-
1.HFile详解 HFile文件分为以下六大部分 序号 名称 描述 1 数据块 由多个block(块)组成，每个块的格式为： + + + + 。 2 元数据块 元数据是key-value类型的值，但 ...
-
1782 次阅读|0 个评论
- 分享
如何提高hbase的入库性能
-
2014-8-1 20:08
-
hbase写数据首先先写入memstore，当memstore满64MB以后，会flush到disk上而成为storefile。当storefile数量超过3时，会启动compaction过程将它们合并为一个storefile。这个过程中会删除一些timestamp过期的数据，比如update的数据。而当合并后的storefile大小大于hfile默认最大值时，会触发split动作，将它切分成两个r ...
-
1638 次阅读|0 个评论
- 分享
关系型数据库与HBase的数据储存方式区别
-
2014-8-1 20:04
-
如今Bigtable型(列族)数据库应用越来越广，功能也很强大。但是很多人还是把它当做关系型数据库在使用，用原来关系型数据库的思维建表、存储、查询。本文以hbase举例讲述数据模式的变化。 传统关系型数据库(mysql，oracle)数据存储方式主要如下： 图一 上图是个很典型的数据储存方式 ...
-
2274 次阅读|0 个评论
- 分享
HBase基础
-
2014-8-1 16:51
-
一.概述 再次学习HBase实战和HBase权威指南时，对HBase了解又深了许多。本文列出一些值得关注的点。 二.HBase物理和逻辑存储结构 user表包含两个列族info activity，为此表预分区[1,3)[3,正无穷)，此时user表在HBase里的物理和逻辑存储结构如上图。 一个user表的数据存储在两个region上，这两个r ...
-
2039 次阅读|0 个评论
- 分享
region server and hmaster server
-
2014-7-27 15:48
-
Hbase在逻辑上的存储最小单位是 region，物理上来说是hfile。每个region由多个hfile组成。那么，是否有一个推荐值，确定每台regionserver上运行多少个region，每个region的size多大是最合适的呢？ 以目前主流服务器的能力计算，给出了以下推荐值：每台 regionserver管理１０－１０００个 regions，每个region大 ...
-
2619 次阅读|0 个评论
- 分享
Ubuntu 出现apt-get: Package has no installation candidate问题
-
2014-7-23 10:37
-
今天在安装软件的时候出现了Package has no installation candidate的问题，如： # apt-get install packagename Reading package lists... Done Building dependency tree... Done Package aptitude is not available, but is referred to by another package. This may mean that the package ...
-
848 次阅读|0 个评论
- 分享
storm常见问题解答
-
2014-7-18 15:01
-
最近有朋友给我邮件问一些storm的问题，集中解答在这里。 一、我有一个数据文件，或者我有一个系统里面有数据，怎么导入storm做计算？ 你需要实现一个Spout，Spout负责将数据emit到storm系统里，交给bolts计算。怎么实现spout可以参考官方的kestrel spout实现： https://github.com/nathanmarz/storm-kes ...
-
1003 次阅读|0 个评论
- 分享
hadoop之MapReduce自定义二次排序流程实例详解
-
2014-7-4 13:30
-
引用：http://zengzhaozheng.blog.51cto.com/8219051/1379271
-
1008 次阅读|0 个评论
- 分享
Linux面试题
-
2014-6-29 18:55
-
题目 1、Linux挂载Winodws共享文件夹 2、查看http的并发请求数及其TCP连接状态： 3、用tcpdump嗅探80端口的访问看看谁最高 4、统计/var/log/下文件个数 5、查看当前系统每IP连接数 6、shell下32位随机密码生成 7、统计出apache的access.log中访问量最多的5个IP 8、如何查 ...
-
1181 次阅读|1 个评论
热度 2
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
