求助帖，为何shuffle时间会是负数？

查看数: 25251 | 评论数: 17 | 收藏 1

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2015-6-3 09:29

本帖最后由树叶的狂欢于 2015-6-3 10:13 编辑在hadoop 的jobhistory的浏览器页面中，查看某个job的运行时间，截图如下：我想问为什么有时候会出现 Average Shuffle Time = -1mins -14sec的情况 ...

树叶的狂欢 发表于 2015-6-7 00:41:24

gwgyk 发表于 2015-6-6 10:00
对，就是这个ntp，用起来复杂吗？

每台机器上运行这个命令就行了，时间就能同步了

gwgyk 发表于 2015-6-6 10:00:55

树叶的狂欢发表于 2015-6-5 19:52
网上百度的，命令：ntpdate time.nist.gov ，其中time.nist.gov是一个时间服务器

对，就是这个ntp，用起来复杂吗？

树叶的狂欢 发表于 2015-6-5 19:52:28

gwgyk 发表于 2015-6-5 19:50
你是用什么方法同步集群时间的？

网上百度的，命令：ntpdate time.nist.gov ，其中time.nist.gov是一个时间服务器

gwgyk 发表于 2015-6-5 19:50:21

树叶的狂欢发表于 2015-6-5 10:41
恩，应该就是这个原因，没用再碰到时间负数的情况了，谢谢！

此贴终结！

你是用什么方法同步集群时间的？

树叶的狂欢 发表于 2015-6-5 10:41:57

gwgyk 发表于 2015-6-5 09:44
你把时间都同步了试试看，如果有作用的话跟我说一声啊。

恩，应该就是这个原因，没用再碰到时间负数的情况了，谢谢！

此贴终结！
解决方法：同步hadoop集群各节点时间

gwgyk 发表于 2015-6-5 09:44:41

树叶的狂欢发表于 2015-6-4 11:26
恩，可能是这个问题，有个节点慢一分钟

你把时间都同步了试试看，如果有作用的话跟我说一声啊。

树叶的狂欢 发表于 2015-6-4 11:26:34

gwgyk 发表于 2015-6-4 09:30
会不会是你集群时间不同步，所以出现这个问题了。我也经常遇到这个问题，就是一个job只有map，但最后map的 ...

恩，可能是这个问题，有个节点慢一分钟

gwgyk 发表于 2015-6-4 09:30:50

会不会是你集群时间不同步，所以出现这个问题了。我也经常遇到这个问题，就是一个job只有map，但最后map的时间却大于总时间。所以你检查下各个结点的时间是否一致。

树叶的狂欢 发表于 2015-6-3 16:30:42

bob007 发表于 2015-6-3 16:00
人家刚学，不要笑话人家了。
不过楼主的问题，确实够奇怪的。
会不会是bug那。

有时候是对的，有时候就出现负数了。。。。。

图文精华