sparkstreamin metrics 统计问题

flume监控文件夹，当有新文件上传进去之后将之发送给streaming处理。想把每次数据的接入条数和大小，及处理时间输出出来。使用metrics可以实现吗？或者有其他思路，求大神解惑。

metrics应该可以，不过具体楼主可以尝试下。

Flume本身提供了http, ganglia的监控服务，而 目前主要使用zabbix做监控。 为Flume添加zabbix监控模块，和sa的监控服务无缝融合。

另一方面，净化Flume的metrics。可以将需要的metrics发送给zabbix，避免 zabbix server造成压力。将最为关心的 ， 对应关注的metrics为指定即可

比如传输的个数，大小（size），
时间这个不知道行不行，不过作为一个方法提供给楼主参考

qcbb001 发表于 2016-11-15 20:12
Flume本身提供了http, ganglia的监控服务，而 目前主要使用zabbix做监控。 为Flume添加zabbix监控模块，和s ...

我不是想使用第三方监控，我的需求是每次处理完就直接把处理结果统计输出，不用去看网页监控。怎么去获取这些信息，处理了多少数据、用了多长时间之类的。

aalfalfa 发表于 2016-11-16 13:59
我不是想使用第三方监控，我的需求是每次处理完就直接把处理结果统计输出，不用去看网页监控。怎么去获取 ...

还没见过这方面的，楼主可以参考监控代码，自己写一个

nextuser 发表于 2016-11-16 14:19
还没见过这方面的，楼主可以参考监控代码，自己写一个

有没有这方面资料

aalfalfa 发表于 2016-11-16 14:22
有没有这方面资料

比如zabbix，当然可能需要使用spark的一些接口。这个难度其实还挺大的