通过hadoop设计日志收集系统

下面这张图是我最近学习hadoop和hbase后对日志收集系统设计的架构图：



在日志收集器将收集到的日志实时发送到scribe客户端，在这之间采用lvs做负载保证服务的可靠性及横向扩展，然后利用scribe向HDFS实时push数据，每天晚上启动mapreduce job分析日志数据，将日志数据分析结果存入hbase，APP应用实时查询HBASE获取数据。