Hadoop2.x 让你真正明白yarn

很好的文章，感谢分享

einhep 发表于 2017-2-9 19:46
这个没有的，即使官网也没的。只能看源码

嗯，不过最近看了某本书关于这块的，am是在某个node的节点执行的，此时他和resourceManager是在心跳的。不过也没有说到断了会怎样，估计应该会停掉再在另外一个节点上起一个。

蓝月狼 发表于 2017-2-13 14:31
嗯，不过最近看了某本书关于这块的，am是在某个node的节点执行的，此时他和resourceManager是在心跳的。 ...

很多地方都存在心跳的，心跳的目的其实起到监控的作用。无论是哪个组件，如果心跳停止，则认为其挂掉。可能会重启或则重新开一个进程。
推荐：
YARN的 Resource Manager的作用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=6883

好好学习，天天向上

想写一个基于时间限的调度器，希望实现在YARN 调度器中获取到用户在提交作业时设定的时间限参数，参看了你在网上的博客（http://dongxicheng.org/mapreduce/how-to-write-hadoop-schedulers/），但这是基于之前Hadoop版本的，在新的YARN版本中不知道该如何处理。特寻求帮助，谢谢。

    我在想是不是用户在提交作业时设定的时间限参数可以在AM端获取，然后通过RPC协议传送给Scheduler。因为我对于Hadoop源码不够熟悉，所以对这个很困惑。

Keroro 发表于 2017-3-18 11:25
想写一个基于时间限的调度器，希望实现在YARN 调度器中获取到用户在提交作业时设定的时间限参数，参看了你 ...

基本都是一样的。楼主还需熟悉源码， 才能修改源码。否则可能遇到很多坑
自定义方面的资料推荐：
Hadoop-2.2.0中文文档：MapReduce 下一代 --公平调度器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=9044

einhep 发表于 2017-3-18 15:11
基本都是一样的。楼主还需熟悉源码， 才能修改源码。否则可能遇到很多坑
自定义方面的资料推荐：
Hadoo ...

你好，谢谢你的回答，但是我现在问题是想知道怎么在调度器中获取到用户通过控制台提交的自定义参数（不是通过配置文件）。

Keroro 发表于 2017-3-18 21:57
你好，谢谢你的回答，但是我现在问题是想知道怎么在调度器中获取到用户通过控制台提交的自定义参数（不是 ...

无论是hadoop，还是spark，都有提交job的参数。这些参数都是通过shell编程实现的。因此楼主如果想获取这些参数，需要通过提交job的shell看起

技术大牛，顶

感谢楼主分享，资料质量比较高！