分享

使用YCSB测试HBase的问题

lmqian 发表于 2017-10-14 17:27:21 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 6959
在学习使用YCSB测试HBase的性能,由于单台测试客户端性能不够,50个线程CPU就到90%以上了,想请教一下,如果同时用多台客户端测试,数据怎么算?
比如,我要测试1000W的数据量,使用2台测试客户端,100个线程,workload分别应该怎么设置?最后计算集群吞吐率的时候,是将两台机器的吞吐率直接相加吗?

已有(3)人评论

跳转到指定楼层
qcbb001 发表于 2017-10-14 21:18:43
怎么设置,看你侧重那方面的的属性了。你是读多,还是写多。还两个一样多。都是不一样的。吞吐量在结果应该是显示的。应该不是相加的,否则机器越多,那么吞吐量岂不越大。
吞吐量(Throughput),表示每秒钟可处理的请求个数.
下面workload类型,可以根据自己的情况选择
ycsb的workloads目录下保存了6种不同的workload类型,代表了不同的压测负载类型,详细的介绍列在下面:
workloada:混合了50%的读和50%的写;
workloadb:Read mostly workload,混合了95%的读和5%的写,该workload侧重于测试集群的读能力;
workloadc:Read only,100%只读
workloadd:Read latest workload,插入数据,接着就读取这些新插入的数据
workloade:Short ranges,短范围scan,不同于随机读,每个测试线程都会去scan一段数据
workloadf:Read-modiy-wirte,读改写,客户端读出一个记录,修改它并将被修改的记录返回


回复

使用道具 举报

lmqian 发表于 2017-10-14 22:31:34
qcbb001 发表于 2017-10-14 21:18
怎么设置,看你侧重那方面的的属性了。你是读多,还是写多。还两个一样多。都是不一样的。吞吐量在结果应该 ...

现在就测试单纯写入(insert)的场景,问题是单台测试客户端机器性能不够,不能测出HBase集群最大的吞吐量,所以考虑用多台客户端并发测试。
回复

使用道具 举报

einhep 发表于 2017-10-16 07:19:14
lmqian 发表于 2017-10-14 22:31
现在就测试单纯写入(insert)的场景,问题是单台测试客户端机器性能不够,不能测出HBase集群最大的吞吐 ...

可以的,机器多了,吞吐量应该更准一些。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条