分享

关于spark dag

Wyy_Ck 发表于 2017-3-19 22:10:01 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 6 7194
关于dag  有一点一致不理解,如下:
针对环形图,那当我们的需要执行 D.collect 操作的时候,就会引发一个死循环了。


请问时为什么呢

已有(6)人评论

跳转到指定楼层
easthome001 发表于 2017-3-20 08:43:30
楼主为什么会认为是死循环,可详细描述下,最好上图
回复

使用道具 举报

lenovoyufeilil 发表于 2017-3-20 14:52:15
collect属于Action,spark会开始计算,计算之前会判断确定各个RDD之间的依赖关系,rddB依赖于rddA,rddA就不可能依赖rddB,好比儿子不可能变成爸爸的爸爸,谓之"有向",也就代表了时间的先后顺序;若rddA、rddB、rddC构成环形有向图,那就无法确定应该先计算出哪个rdd,“无环”代表了不可逆,在时间线上说,有依赖关系的三个rdd是不可能同一时间出现的。这个跟“A是B的父亲,B是C的父亲,C又是A的父亲,请你确定哪个人辈分最高”是一个道理
回复

使用道具 举报

w517424787 发表于 2017-3-21 08:42:17
真不知道楼主说的“死循环”是从哪里听来的?
回复

使用道具 举报

Wyy_Ck 发表于 2017-3-22 09:12:13
easthome001 发表于 2017-3-20 08:43
楼主为什么会认为是死循环,可详细描述下,最好上图

不好意思,回复晚了,下文链接“无环” 有描述,不知道如何理解?

http://www.jianshu.com/p/0d2b2503993f
回复

使用道具 举报

Wyy_Ck 发表于 2017-3-22 09:13:22
w517424787 发表于 2017-3-21 08:42
真不知道楼主说的“死循环”是从哪里听来的?

不好意思,回复晚了,下文链接“无环” 有描述,不知道如何理解?

http://www.jianshu.com/p/0d2b2503993f

回复

使用道具 举报

Wyy_Ck 发表于 2017-3-22 09:16:23
lenovoyufeilil 发表于 2017-3-20 14:52
collect属于Action,spark会开始计算,计算之前会判断确定各个RDD之间的依赖关系,rddB依赖于rddA,rddA就不可 ...

哦哦哦  谢谢啊  理解理解
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条