分享

storm的topology发布问题

caiyifeng 发表于 2015-11-16 17:54:33 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 8076
请问哪位大神指导如何解决该问题:
     我定义了个topology,spout是负责读取文件后,转为消息流emit出去的。但现在有个烦恼的问题是,举例:比如说Topology发布后
Spout是在192.16.110.10这台主机上,那么我会把读取的文件放在指定的目录上。


但有时候Topology杀掉后,重启时,Spout可能会跑到另一台主机上(192.168.110.11),那样我又得把文件拷贝到11这台主机上。


请问有没办法在启动Topology时,能指定Spout的节点地址呢

已有(3)人评论

跳转到指定楼层
leo_1989 发表于 2015-11-16 19:58:55
本帖最后由 leo_1989 于 2015-11-16 20:24 编辑

读取本地文件存在这个问题
读取分布式文件,不会存在这个问题。
hdfs://路径即可,不需要ip地址
回复

使用道具 举报

leo_1989 发表于 2015-11-16 19:51:30
楼主读取的是本地文件??
为什么不读取hdfs或则其它分布式文件。这样到哪都能读取
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条