图文精华

hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...

About云-梭伦科技 › 日志

日志

最新发表的日志| 推荐阅读的日志 | Nutch | Docker | K8s | Flink | Hyperledgar | 比特币 | 以太坊 | 机器学习 | 图像处理 | NLP | 神经网络 | 其它 | ElasticSearch | 大数据 | Spark | Sqoop | Lucene | Solr | Nosql | Oozie | Cloudera系列 | ZooKeeper | Flume | Hadoop | Kafka | Hive | Hbase | Mapreduce | Storm | 人工智能 | 区块链 | openstack | 物联网 | 容器

分享 Hbase写入优化策略: 阿飞 2019-11-19 16:49; 1 关闭autoflush，批量put 2 检查memstore大小，是不是频繁刷hfile 3 检查JVM，是否有频繁full GC，导致客户端查询卡死 4 检查是否写入的时候频繁compaction(minor compaction或者major compaction) 5 检查表是否存在预定义分区，避免region热点导致不断的split 6 检查版本设置，是否版本太大，导致过期数据太多，查 ...; 746 次阅读|0 个评论

分享 Hbase图片如何解决小文件问题: pig2 2019-7-12 16:50; 提问：群主您好：业务场景就是把实时拍的的图片发在一个地方，用spark实时用模型做分拣出正常的和异常的,每个图片几M的小文件，存在hdfs会造成小文件特多，要好的解决方案吗如果说只是小文件，其实解决方案还是挺多的，比如Hadoop Archive，Sequence file，CombineFileInputFormat等都可以解决。但是这里 ...; 1081 次阅读|0 个评论

分享 phoenix集成hbase后，插入hbase数据，为何查询不到: admin 2019-6-28 19:52; 问题导读 1.hbase插入数据后，为何phoenix不能识别？ 2. phoenix索引是如何组成的？ 3.如何通过API实现？问题描述：用户访问的数据接口直接走Phoenix，Phoenix的表是映射hbase产生，Phoenix的表会建很多索引，这时候问题就出现了，正常通过接口直接写数据进Phoenix表，相应的索引表也是会更新 ...; 1629 次阅读|0 个评论

分享 Hbase如何将hfile二进制文件转换为文本txt格式: nettman 2019-5-14 19:56; 我们知道hbase文件hfile直接是不能阅读的，我们如何转换为可以阅读的格式通过命令 hbase org.apache.hadoop.hbase.io.hfile.HFile -f hdfsHfilepath -p -b -m -v hdfsHfilepath 写成你要查看的路径; 1350 次阅读|0 个评论

分享 hbase按行分region，再按列族分store，为什么store内有若干HFile，为啥不存成1个HFile: s060403072 2019-4-25 18:49; 微信群讨论经典记录： hbase按行分region，再按列族分store，为什么store内有若干HFile，为啥不存成1个HFile hbase的写操作：首先写入到表中region的columnfamily对应的store的memstore。当一个region的所有memstore大于hbase.hregion.memstore.flush.size时，则会把Memstore的数据写出到hdfs中，也就是hfile。一 ...; 1036 次阅读|0 个评论

分享如何看hbase的负载呀: 阿飞 2019-3-29 08:40; HBase 可以根据当前集群的负载以region为单位进行rebalance。在HMaster中，后台会起一个线程定期检查是否需要进行rebalance，线程叫做BalancerChore。线程每隔 hbase.balancer.period会定期执行 master.balance()函数，配置项默认300000毫秒，5分钟。每次balance最多执行 hbase.balancer.max.balancing，如果没有配置， ...; 1013 次阅读|0 个评论

分享 hbase memstore设置无效解决思路: langke93 2018-6-14 10:43; sqlserver中的数据导入至HBase中一张表数据2kw左右，使用的是kettle工具，大量的数据导入可能会产生compaction，这里memestore设置的是128m，但是在执行至memstore至30m大小开始flush就开始flush了，请问这是什么原因？建议： 1.RS 内存设置太小 memstore默认占40% 2.HF达到允许的最大数量具体看 hbase.hstore.block ...; 1549 次阅读|0 个评论

推荐 /2

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴

Copyright © 2001-2025 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / 京ICP备2020039040号简书网举报电话：021-34700000

意见
反馈