分享

About云日志分析课程


课程简介

课程分为四部分:
第一部分集群安装:里面详细介绍了集群安装知识及大数据组件如何实现整合的。大数据组件包括:hadoop、flume、kafka、spark。

第二部分Scala知识:Scala是大数据很重要的一门语言。这里补充了零基础入门知识,为以后学习、使用spark打下基础。

第三部分spark编程知识:这里接上面内容,补充Scala知识,让我们有了spark编程的基础,spark有自己的api,懂得了spark编程基础,如果自己具备传统项目经验,去实现大数据项目,会容易很多。

第四部分about云日志项目实战:这里面教给大家如何整体认识日志搜集,从网站的搭建产生日志,到处理flume,kakfa传递,然后spark streaming实时处理统计。


详细内容如下

整体目录

1.png

第一部分:
2.png


第二部分:
3.png



第三部分:
4.png



第四部分:
5.png
6.png


更新
01. 统计结果中增加时间间隔&过滤异常ip
02.以standalone模式运行统计程序

相关版本:
hadoop2.7.4+spark2+flume1.7+kafka2.11

收获:
1.零基础搭建、整合集群,可以懂得Linux知识、集群搭建、配置、版本整合等知识。
2.学会Scala编程知识,会使用Scala编程
3.懂得spark相关api的使用,特别是SparkSession、spark streaming、spark sql等spark编程相关实战知识
4.日志分析,从零开始,从网站访问到产生日志,然后过滤、清洗数据,通过flume,kakfa传递,通过spark streaming编程实现清洗日志,并通过mysql和web前台展示统计结果。

没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /5 下一条