分享 spark的kafka的低阶API createDirectStream的总结。
mituan2008 2015-9-15 22:00
大家都知道在spark1.3版本后,kafkautil里面提供了两个创建dstream的方法,一个是老版本中有的createStream方法,还有一个是后面新加的createDirectStream方法。关于这两个方法的优缺点,官方已经说的很详细(http://spark.apache.org/docs/latest/streaming-kafka-integration.html),总之就是createDirectStream性能会更 ...
2267 次阅读|0 个评论
分享 Neutron DVR实现multi-host特性打通东西南北流量提前看(by quqi99)
mituan2008 2015-6-27 10:53
Neutron DVR实现multi-host特性打通东西南北流量提前看(by quqi99)
注意,这块的代码目前都还没有,只是提前进行一下理论分析。 先温习下l3-agent原理:l3-agent节点 为所有subnet创建内部网关,外部网关,路由 等。l3-agent定期同步router时会为将和该router相关联的subn ...
1816 次阅读|0 个评论
分享 storm与spring框架集成问题
mituan2008 2015-5-11 11:50
在进行storm与spring集成时,本来想着一次就能成功,抱着很大的希望可是运行时竟然报了个java.io.NotSerializableException的异常。该异常要求被依赖注入的jar包实现序列化接口,但那些jar包都是别人开发的你不能一个一个都改掉源码才能用到项目里。   再网上找一下还真有人遇到类似的问题,具体原因是对storm的spout和 ...
1664 次阅读|0 个评论
分享 本地编译64位hadoop并进行部署。
mituan2008 2015-4-27 12:06
本地编译64位hadoop并进行部署。
我是接着用上次已经部署好的环境,故已经有ssh以及java。没有安装这两个的朋友可以看本人关于伪分布式安装的博文。 首先是输入命令sudo apt-get install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config libssl-dev,安装完这些准备工具后,下载protobuf-2.5.0.tar.gz,解压到主目录下,输入. ...
1063 次阅读|0 个评论
关闭

推荐上一条 /2 下一条