图文精华

About云-梭伦科技 › 日志

    blog 日志

    最新发表的日志| 推荐阅读的日志 | Nutch | Docker | K8s | Flink | Hyperledgar | 比特币 | 以太坊 | 机器学习 | 图像处理 | NLP | 神经网络 | 其它 | ElasticSearch | 大数据 | Spark | Sqoop | Lucene | Solr | Nosql | Oozie | Cloudera系列 | ZooKeeper | Flume | Hadoop | Kafka | Hive | Hbase | Mapreduce | Storm | 人工智能 | 区块链 | openstack | 物联网 | 容器
    分享 Hbase写入优化策略
    阿飞 2019-11-19 16:49
    1 关闭autoflush，批量put 2 检查memstore大小，是不是频繁刷hfile 3 检查JVM，是否有频繁full GC，导致客户端查询卡死 4 检查是否写入的时候频繁compaction(minor compaction或者major compaction) 5 检查表是否存在预定义分区，避免region热点导致不断的split 6 检查版本设置，是否版本太大，导致过期数据太多，查 ...
    706 次阅读|0 个评论
    分享 Hbase图片如何解决小文件问题
    pig2 2019-7-12 16:50
    提问： 群主您好：业务场景就是把实时拍的的图片发在一个地方，用spark实时用模型做分拣出正常的和异常的,每个图片几M的小文件，存在hdfs会造成小文件特多，要好的解决方案吗 如果说只是小文件，其实解决方案还是挺多的，比如Hadoop Archive，Sequence file，CombineFileInputFormat等都可以解决。但是这里 ...
    1027 次阅读|0 个评论
    分享 phoenix集成hbase后，插入hbase数据，为何查询不到
    admin 2019-6-28 19:52
    问题导读 1.hbase插入数据后，为何phoenix不能识别？ 2. phoenix索引是如何组成的？ 3.如何通过API实现？ 问题描述： 用户访问的数据接口直接走Phoenix，Phoenix的表是映射hbase产生，Phoenix的表会建很多索引，这时候问题就出现了，正常通过接口直接写数据进Phoenix表，相应的索引表也是会更新 ...
    1400 次阅读|0 个评论
    分享 Hbase如何将hfile二进制文件转换为文本txt格式
    nettman 2019-5-14 19:56
    我们知道hbase文件hfile直接是不能阅读的，我们如何转换为可以阅读的格式 通过命令 hbase org.apache.hadoop.hbase.io.hfile.HFile -f hdfsHfilepath -p -b -m -v hdfsHfilepath 写成你要查看的路径
    1270 次阅读|0 个评论
    分享 hbase按行分region，再按列族分store，为什么store内有若干HFile，为啥不存成1个HFile
    s060403072 2019-4-25 18:49
    微信群讨论经典记录： hbase按行分region，再按列族分store，为什么store内有若干HFile，为啥不存成1个HFile hbase的写操作：首先写入到表中region的columnfamily对应的store的memstore。当一个region的所有memstore大于hbase.hregion.memstore.flush.size时，则会把Memstore的数据写出到hdfs中，也就是hfile。 一 ...
    958 次阅读|0 个评论
    分享 如何看hbase的负载呀
    阿飞 2019-3-29 08:40
    HBase 可以根据当前集群的负载以region为单位进行rebalance。在HMaster中，后台会起一个线程定期检查是否需要进行rebalance，线 程叫做BalancerChore。线程每隔 hbase.balancer.period会定期执行 master.balance()函数，配置项默认300000毫秒，5分钟。每次balance最多执行 hbase.balancer.max.balancing，如果没有配置， ...
    954 次阅读|0 个评论
    分享 hbase memstore设置无效解决思路
    langke93 2018-6-14 10:43
    sqlserver中的数据导入至HBase中一张表数据2kw左右，使用的是kettle工具，大量的数据导入可能会产生compaction，这里memestore设置的是128m，但是在执行至memstore至30m大小开始flush就开始flush了，请问这是什么原因？ 建议： 1.RS 内存设置太小 memstore默认占40% 2.HF达到允许的最大数量 具体看 hbase.hstore.block ...
    1477 次阅读|0 个评论
    关闭

    推荐上一条 /2 下一条

    关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

    Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

    简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000