hdfs写入速度问题

wdx_827 · 发表于 2017-8-3 10:15:58

hasqjh7 发表于 2017-8-3 09:56
嗯呢，不知道你的需求是啥，如果走计算的话，就走Mapreduce多线程地去写了，或者是别的计算框架，如果是 ...

我的目的是提升hdfs的IO能力，和用什么写没有关系吧！

hasqjh7 · 发表于 2017-8-3 10:35:01

wdx_827 发表于 2017-8-3 10:15
我的目的是提升hdfs的IO能力，和用什么写没有关系吧！

IO 和磁盘有很大的关系

tntzbzc · 发表于 2017-8-3 12:04:21

wdx_827 发表于 2017-8-3 10:15
我的目的是提升hdfs的IO能力，和用什么写没有关系吧！

io能力跟硬件有关系，所以想通过软件提升，基本不可能的。但是软件可以间接提升读写能力。

wdx_827 · 发表于 2017-8-3 13:48:41

按照目前的硬件配置，经过TestDFSIO 测试吞吐hfds每秒的写入速度能够达到800多兆每秒。已经确认我目前部署的方式没有问题。之前对测试结果中Average IO rate的理解有问题，应该是每个map执行的写入速率。

SkyGreen · 发表于 2017-8-11 10:14:24

wdx_827 发表于 2017-8-3 13:48
按照目前的硬件配置，经过TestDFSIO 测试吞吐hfds每秒的写入速度能够达到800多兆每秒。已经确认我目前部署 ...

你好，我最近也在做hdfs的读写性能测试。楼主应该是用TestDFSIO来测试的，楼主用过人工统计的方式吗？比如说自己针对读写过程，加入一些时间统计，不知道楼主有做过这方面的吗，如果是自己统计的话，是怎么做的呢？

wdx_827 · 发表于 2017-8-12 22:17:02

SkyGreen 发表于 2017-8-11 10:14
你好，我最近也在做hdfs的读写性能测试。楼主应该是用TestDFSIO来测试的，楼主用过人工统计的方式吗？比 ...

我简单做了一个测试读写性能的程序，大概思路就是通过hdfs的api，可以设置上传并发数量，并发上传1G文件，记录运行时间。没有做太复杂。

SkyGreen · 发表于 2017-11-16 16:25:40

wdx_827 发表于 2017-8-12 22:17
我简单做了一个测试读写性能的程序，大概思路就是通过hdfs的api，可以设置上传并发数量，并发上传1G文件 ...

好的，谢谢，我得把里边的改改，

图文精华