图文精华

About云-梭伦科技 › 日志

    blog 日志

    分享 kafka使用记录
    desehawk 2017-4-23 19:18
    kafka常用命令行统计 http://www.aboutyun.com/forum.php?mod=viewthreadtid=21598 Kafka实际使用过程中遇到的一些问题及解决方法： 1.关于Kafka的分区： 开始使用Kafka的时候，没有分区的概念，以为类似于传统的MQ中间件一样，就直接从程序中获取Kafka中的数据。 后来程序搭建了多套，发现永远只有一个消费者（ ...
    844 次阅读|0 个评论
    分享 hbase hbck -repair修复失败记录
    desehawk 2017-2-9 19:20
    # sudo -u hbase hbase hbck -repair ··· ··· 15/10/28 09:05:22 INFO util.HBaseFsckRepair: Region still in transition, waiting for it to become assigned: {ENCODED = 1dfc13d0ea5596e76a3d1c3baadf6334, NAME = 'clone-QSH_S_METER_DATA,\xF8,1422783824955.1dfc13d0ea5596e76a3d1c3baa ...
    2756 次阅读|0 个评论
    分享 Hadoop和Spark本地版本库不一致解决方案
    desehawk 2016-7-25 13:46
    Hadoop和Spark本地版本库不一致解决方案
    就是报以下这个警告的，也不知道对运行程序究竟会产生什么样的影响，但看着就是不爽，还耽误了我几天时间，把它给解决了，这里记一下，方便以后查找。 unable to load native - hadoop library for your platform ... using builtin - java classes where applicable 先是运行Hadoop的时候报 ...
    1054 次阅读|0 个评论
    分享 针对分析性工作负荷，同时使用Impala和Kudu
    desehawk 2016-6-17 18:06
    针对分析性工作负荷，同时使用Impala和Kudu
    Apache Kudu（正在孵化中）是与Apache Hadoop生态系统集成在一起的一系列存储引擎的最新成员。Kudu的目标是为客户提供更高的扫描性能，更有针对性的分析工作负荷，以及允许用户可以同时插入、更新和删除记录。由于具有这些特性，Kudu成为HDFS和/或Apache HBase现有组合的一个可行的替代解决方案，可以通过不太复杂的ETL管道 ...
    7097 次阅读|1 个评论 热度 1
    分享 使用虚拟机安装centos7初步使用记录及遇到的问题
    desehawk 2015-10-9 21:13
    根据about云资料，虚拟机安装Linux（ubuntu）是没有问题的。 虚拟机三种网络模式该如何上网指导 http://www.aboutyun.com/thread-6700-1-1.html 所以安装Linux（centos认为也是没有问题的），但是在安装的过程中，还是有不少问题的。 首先虚拟机安装Linux，这个是没有难度的。 下载 —————————— ...
    1464 次阅读|1 个评论 热度 1
    分享 Encountered problems when prefetch META table解决方法
    desehawk 2015-5-5 16:53
    运行读hbase表相关的程序抛异常~ WARN org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation: Encountered problems when prefetch META. table: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=10, exceptions: Wed Aug 15 10:59:50 CST 2012, or ...
    1524 次阅读|0 个评论
    分享 Hadoop2.5 HA部署
    desehawk 2015-4-27 00:15
    hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现，如图1所示。hadoop2就解决了这个问题。 hadoop2.2.0中HDFS的高可靠指的是可以同时启动2个 ...
    1629 次阅读|0 个评论
    分享 Ganglia监控 hadoop 集群
    desehawk 2015-4-27 00:13
    环境： 服务器名称 角色 IP Client 监控节点 10.0.2.59 nn01 被监控 10.0.2.220 jt01 被监控 10.0.2.219 dn01 被监控 10.0.2.216 hadoop 集群（nn01,jt01,dn01）,监控节点：Client Hadoop1.2.1 版本和Hadoop2.5.2版本 监控节点部署： 下载软件包： 下载epel 源 ： http://dl.fedoraproject.org/pub/epel/6/x86 ...
    1919 次阅读|0 个评论 热度 1
    分享 hadoop2.5 mapreduce编程实例
    desehawk 2015-4-25 12:45
    hadoop2.5 mapreduce编程实例
    设用户编写了一个MapReduce程序，并将其打包成xxx.jar文件，然后使用以下命令提交作业： $HADOOP_HOME/bin/hadoopjarxxx.jar\ -Dmapred.job.name="xxx"\ -Dmapred.map.tasks=3\ &nbs ...
    1138 次阅读|0 个评论
    分享 使用Eclipse开发Hbase,实现简单的PUT,GET,SCAN,CreateTable操作
    desehawk 2015-4-21 19:33
    packagecom.cfnet.hadoop.hbase; importjava.io.IOException; importjava.util.List; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.hbase.Cell; importorg.apache.hadoop.hbase.CellUtil; importorg.apache.hadoop.hbase.HBase ...
    1234 次阅读|0 个评论
    12345678910下一页
    关闭

    推荐上一条 /2 下一条

    关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

    Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

    简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000