求教，google cluster trace的使用！

近期在做hadoop调优的工作，修改了hadoop任务调度模块的代码，想要测试一下效果
都说要跑trace来实验，在网上也搜到了google cluster trace，但是不知道怎么用呀，大家有没有用过这个的，或者是用过其它的trace的？


求各位指教！

国内还真没有介绍的，现在墙又变高了。
如果说调优了，建议楼主从以下方面来测试：
1.感性测试
当你运行同一个程序的时候，调优前后，相信自己能自己统计出他们的时间差别

2.监控工具
比如你调优了哪方面，现在hadoop监控工具很多，所以当运行程序的时候，相信这些都是由指标的

nextuser 发表于 2016-12-6 18:09
国内还真没有介绍的，现在墙又变高了。
如果说调优了，建议楼主从以下方面来测试：
1.感性测试

感谢回复！

后续会用到一些监控工具进行分析比较。
现在的问题是缺乏实验所需的数据集，暂时只在github上找到了Facebook09和10年很少一部分数据。
而谷歌的cluster trace下载后不知道该怎么用

请问下您正确地使用了google cluster data吗？最近也要用到这个，是不是自己对调度部分做了优化，就需要针对自己优化前和优化后的调度模块分别写一个仿真器，来运行这些数据得到仿真结果进行对比？也就是说需要自己写仿真器（而不是在真实集群上面）来执行这些trace？

WhutGeek 发表于 2017-6-9 18:50
请问下您正确地使用了google cluster data吗？最近也要用到这个，是不是自己对调度部分做了优化，就需要针 ...

google的trace最终还是没弄明白怎么用，我最后用的是facebook的trace，这个GitHub上有。
我也是对调度部分做了优化，不过最后是在真实集群上做的实验，对比用不同调度模块时的性能。

就是，facebook的trace能够在真实环境下面运行吗？也就是说，您最后在hadoop真实集群上面运行的trace是facebook提供的吗？其实我是不想用google trace的，也没整明白...毕竟可能还需要重写仿真器...

WhutGeek 发表于 2017-6-15 12:00
就是，facebook的trace能够在真实环境下面运行吗？也就是说，您最后在hadoop真实集群上面运行的trace是face ...

facebook的trace有使用教程，就是根据.tsv文件在集群上生成相应的输入数据和任务，可以在不同调度策略下执行。
网址：https://github.com/SWIMProjectUCB/SWIM/wiki
介绍的挺详细的，你可以看看。

wusi1590 发表于 2017-6-20 15:33
facebook的trace有使用教程，就是根据.tsv文件在集群上生成相应的输入数据和任务，可以在不同调度策略下 ...

赞！先看看，3Q~