日志
- 分享
spark1.02怎么实现读取hbase的数据
-
2015-3-31 15:32
-
请问spark 怎么实现读取hbase的数据并且展示出来 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.Result; import org.apache.hadoop.hbase.client.Scan; import org.apache.hadoop.hbase.io.ImmutableBytesWritable; ...
-
个人分类: hbase|2078 次阅读|0 个评论
- 分享
Hbase数据导入，直接用mapreduce的方式
-
2014-8-25 22:56
-
第一种直接读取文件，然后用 mapreduce 的方式导入。测试数据 370 万，大小 30G 用时 284 分钟，这种方式数据丢失很严重，丢了将近60万的数据 文件大小 500M ，数据两 80000 Current count: 83000, row: f9acea1367b9bea8a16edee4035f65f7 ...
-
个人分类: hbase|1013 次阅读|0 个评论
- 分享
hbase 集群搭建
-
2014-7-14 18:04
-
我用的是cdh4.5版本： 配置文件：$HBASE_HOME/conf/hbase-env.sh export JAVA_HOME=$JAVA_HOME export JAVA_HOME=/home/hadoop/jdk1.7.0_51 export HBASE_CLASSPATH=$HBASE_HOME/conf # Tell HBase whether it should manage it's own instance of Zookeeper or not. export HBASE_MANAGES_ZK=true 配置文件： hbase-site. ...
-
个人分类: 集群维护|787 次阅读|0 个评论
- 分享
hadoop 8088 看不到mapreduce 任务的执行状态
-
2014-7-14 12:09
-
进到8088页面后，怎么看不到mapreudce的执行状态，有哪里需要配置的
-
个人分类: 集群维护|3661 次阅读|1 个评论
- 分享
MapReuce 怎么实现去掉文件重复的内容
-
2014-7-9 20:33
-
文件数据格式： Name,CardNo,Descriot,CtfTp,CtfId,Gender,Birthday,Address 彬,,,ID,xxxxx21059,M,20101001,,,F,,CHN,,,,,,,,139,19:46:02,4000000 珊,,,ID,xxxxx811090189,M,20101001,,,F,,CHN,,,,,,,,158 世,,,ID,4xxxxx1772,M,19880129,,,F,,CHN,,,,,,,,152108,2,1,,,,,0,2010-10-19 超,,,ID,4xxxxx1772, ...
-
个人分类: mapreduce|979 次阅读|2 个评论
热度 1
- 分享
读取hdfs上的文件 ，并直接写入hbase数据库NoClassDefFoundError: org/apache/hadoop/ ...
-
2014-7-4 11:48
-
今天在导hdfs上的数据到hbase数据库时出现错误提示： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/mapreduce/TableReducer at java.lang.ClassLoader.defineClass1(Na ...
-
个人分类: hbase|1944 次阅读|1 个评论
热度 1
- 分享
hive查询mysql元数据的时候出现需要手动导jar包到hdfs上
-
2014-6-4 14:22
-
环境： hive-0.10.0-cdh4.5.0 ，hadoop-2.0-4.5， 在查询hive 的数据时候出现找不到hdfs上的jar包需要手动导入： select count(1) from weibo-qq SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. java.io.FileNotFoundException: File does not exist: hdfs://localhost:9000/home/hado ...
-
个人分类: hbase和mysq整合|978 次阅读|1 个评论
热度 1
- 分享
集群故障处理，Hbase恢复，节点恢复
-
2014-5-29 16:33
-
今天误操作，将节点的进程给kill 掉，然后就少了一台服务器，不知道怎么恢复了。 另外，hbase数据库也刚刚好在这一台。 问两个问题： 1、节点挂了怎么恢复。2、hbase集群数据库挂了其中的一台怎么恢复 ...
-
个人分类: 集群维护|741 次阅读|2 个评论
热度 1
- 分享
用Hbase api 实现创建数据库 异常client.HConnectionManager$HConnectionImplementati ...
-
2014-5-29 14:24
-
我的基础环境是cdh4.5（hadoop2.0） ，hbase是0.945 package cn.util.frame.baes.hbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDesc ...
-
个人分类: hbase|1152 次阅读|2 个评论
热度 1
- 分享
怎样将mysql的数据导入Hbase（用api实现）
-
2014-5-27 07:01
-
在mysql数据库 现在有将近5T的数据，要将其导入到hbase，考虑到性能问题将使用hbase的api实现，有没有这方面经验的给提供下思路。 要保证mysql和hbase数据库同步，后期的增量导入打算用sqoop实现，每天数据的增量大概在80G左右。
-
个人分类: hbase和mysq整合|1044 次阅读|2 个评论
热度 1
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
