分享

通过hbase client put数据

mlmw 发表于 2015-12-6 16:06:03 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 7881
各位大神,我通过Hbase client 进行put,先存到list里,等list的长度大于1万条的时候put,可是查询hbase发现每次都是只写入500条左右,这是为什么呢?

已有(4)人评论

跳转到指定楼层
nextuser 发表于 2015-12-6 16:36:55
这么长哦,hbase会受不了吧。
最好调节小一些。
或则批量load数据,加载方式也很多,供楼主参考
Hbase几种数据入库(load)方式比较
http://www.aboutyun.com/thread-8601-1-1.html


HBase 5种写入数据方式
http://www.aboutyun.com/thread-7448-1-1.html



回复

使用道具 举报

mlmw 发表于 2015-12-6 16:40:39
nextuser 发表于 2015-12-6 16:36
这么长哦,hbase会受不了吧。
最好调节小一些。
或则批量load数据,加载方式也很多,供楼主参考

是这样的,我是通过TCP协议接收数据,数据量大约在每秒500条,处理完成后存到Hbase里,是实时存储的
回复

使用道具 举报

mlmw 发表于 2015-12-6 16:43:03
nextuser 发表于 2015-12-6 16:36
这么长哦,hbase会受不了吧。
最好调节小一些。
或则批量load数据,加载方式也很多,供楼主参考

而且如果降到1000条,存到Hbase里的只有100来条
回复

使用道具 举报

nextuser 发表于 2015-12-6 17:53:01
mlmw 发表于 2015-12-6 16:43
而且如果降到1000条,存到Hbase里的只有100来条

程序里捕获下异常,写到日志里
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条