日志
- 分享
hbase建索引的两种方式
-
2014-8-19 02:13
-
在二级索引的实现技术上一般有几个方案： 1. 表索引 使用单独的 hbase 表存储索引数据，业务表的索引列值做为索引表的 rowkey ，业务表的 rowkey 做为索引表的 qualifier 或 value 。 问题：对数据更新性能影响较大；无法保证一致性； Client 查询需要 2 次 ...
-
1719 次阅读|5 个评论
热度 5
- 分享
hadoop-2.3.0-cdh5.1.0 windows 8.1 下的编译
-
2014-8-3 22:57
-
和hadoop 2.2 有些差别 1. 只能使用jdk 1.7 （jdk1.8 编译提示错误） 2. 先执行 hadoop-2.3.0-cdh5.1.0\cloudera\apply-patches ../src ./patches 将cloudera的修改合入hadoop 2.3的代码 3. 修改 hadoop-2.3.0-cdh5.1.0\src\hadoop-common-project\hadoop-common\pom.xml 文件，屏蔽native库的编译（不要想修改 ...
-
1117 次阅读|0 个评论
- 分享
Hadoop 2.4.1 设置问题总结
-
2014-8-3 22:51
-
1.服务器禁用ipV6配置. 2.找不到winutils.exe，系统变量设置了HADOOP_HOME也不行，程序中直接设定环境变量，还能省去系统配置，更方便 System.setProperty("hadoop.home.dir","xxxxxxxxx"); 这里可能的原因是没有包不够：包可以到 hadoop家族、strom、spark、Linux、flume等jar包、安装包汇总下载(持续更新) ...
-
791 次阅读|0 个评论
- 分享
HBase的JDBC驱动:Apache Phoenix
-
2014-7-9 23:47
-
Apache Phoenix 是HBase的 SQL 驱动。Phoenix 使得 HBase 支持通过 JDBC 的方式进行访问，并将你的 SQL 查询转成 HBase 的扫描和相应的动作。 兼容性： Phoenix 2.x - HBase 0.94.x Phoenix 3.x - HBase 0.94.x Phoenix 4.x - HBase 0.98.1+
-
1473 次阅读|0 个评论
- 分享
phoenix——提供hbase的sql操作的框架
-
2014-7-9 23:35
-
hbase提供了海量数据的毫秒级查询。可见，hbase是个非常好的实时查询框架，缺点就是查询功能非常薄弱，仅限于通过行键查询。今天看到一个框架phoenix(直译做凤凰)，非常美丽的框架，他提供了HBase的sql访问功能，可以使用标准的JDBC API操作去创建表、插入记录、查询数据。 工作原理？ phoenix的操作sql是通过jdbc ...
-
995 次阅读|1 个评论
热度 1
- 分享
Maven项目在Eclipse中出现“M2E plugin execution not covered”提示的解决办法
-
2014-7-6 11:12
-
maven工程导入eclipse后，m2e插件报Plugin execution not covered by lifecycle configuration:xxx plugin问题，原因是：原因是eclipse的m2e插件还没有支持到execution。 经过好一会折腾终于找到几种解决办法： 1）修改default mapping xml文件 在eclipse的菜单Windows - Preferences - Maven ...
-
2067 次阅读|0 个评论
- 分享
centos6.4 下storm-0.8.1 安装记录
-
2014-6-11 15:43
-
本文记录了我在centos上安装了storm的过程，主要参考了https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster这篇文章，其中对里面说得不够详细的地方进行了一些补充 1.环境 namenode.hadoop2 192.168.1.230(nimbus) datano ...
-
1936 次阅读|0 个评论
- 分享
Storm使用到的相关技术总结
-
2014-6-11 13:58
-
Storm作为一个开源的分布式实时流计算框架，其内部实现使用了一些常用的技术，这里是对这些技术及其在Storm中作用的概括介绍。以此为基础，后续再深入了解Storm的内部实现细节。 1. Zookeeper集群 Zookeeper是一个针对大型分布式系统的可靠协调服务系统，其采用类似Unix文件系统树形层次结构的数据模型（如：/zo ...
-
729 次阅读|0 个评论
- 分享
Flume-Kafka-Storm 整合实例
-
2014-6-11 13:55
-
启动Topology作为Kafka的comsumer bin/storm jar storm-kafka-App-0.1.0-SNAPSHOT-jar-with-dependencies.jar com.exec.storm.kafka.KafKaSpoutTopologyTest 192.168.137.10:2181 启动flume-kafka的producer bin/flume-ng agent --conf conf --conf-file conf/producer1.properties --name producer -Dflum ...
-
2327 次阅读|0 个评论
- 分享
hive中关于partition的操作实例
-
2014-6-4 21:22
-
hive create table mp (a string) partitioned by (b string, c string); OK Time taken: 0.044 seconds hive alter table mp add partition (b='1', c='1'); OK Time taken: 0.079 seconds hive alter table mp add partition (b='1', c='2'); OK Time taken: 0.052 seconds hive alter table mp ad ...
-
830 次阅读|0 个评论
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
