about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 37609|回复: 8

Hadoop项目案例-用户行为分析之应用概述(一)

[复制链接]

519

主题

52

听众

47

收听

版主

Rank: 7Rank: 7Rank: 7

积分
4831
发表于 2015-6-16 16:02:48 | 显示全部楼层 |阅读模式



1.概述
  好的,下面就开始本篇教程的内容分享,本篇教程我为大家介绍我们要做一个什么样的Hadoop项目,并且对Hadoop项目的基本特点和其中的难点做有针对性的剖析,完成项目环境的基本配置,以及项目工程和Hadoop插件的相关准备等工作。
  本课程主要包含以下课时,其内容如下图所示:
1.png

2.内容
  从这节开始,我们将进入到Hadoop项目的实战学习,本节课程为大家介绍的主要知识点有一下内容,如下图所示:
2.png
  首先,我们来看看本节的Hadoop的业务知识点,业务场景如下:
  假设现在有以下场景,用户每天都会对某网站进行点击,这些点击都会记录到日志中,然后分析用户在网站的使用习惯。
  其内容包含如下内容,如下图所示:
3.png
  接着,是Hadoop的应用场景,其内容包含如下内容,如下图所示:
4.png
  通过阅读上图,下面我给大家解释以下这个图中所设计的含义:
  1.Hadoop的核心之一,就是它的离线计算模型MapReduce。
  • 在数据统计中,统计网站的PV、UV
  • 大规模Web信息搜索
  • 一些复杂的算法
  MapReduce都能非常友好的实现。
  2.海量数据的离线分析
  在MapReduce框架下,很难处理实时计算,作业都以日志分析这样的离线作业为主。
  3.静态数据源
  Hadoop要保证分析与计算的数据源是静态的,不能是实时的流水数据。这也是Hadoop自身设计特点决定了数据源必须是静态的。
  在了解了Hadoop的应用场景和业务场景之后,下面我们来看看用户行为分析平台的搭建需要注意哪些事项,注意事项包含以下内容,如下图所示:
5.png  
  1.平台的高可用性  
  如图所示,这是一个高可用平台的简要说明图,在Hadoop2.x版本后,Hadoop提出了HA方案。HA方案的出现,解决了第一代的单点问题,在图中,我们可以看出,在Client请求服务时,若NameNode Active(NNA)节点宕机,整个集群依然是可用的,NameNode Standby(简称NNS)节点会立马切换自己的状态,由Standby切换为Active,并对外提供服务。保证集群的高可用性。
  注:下面是集群的启动演示,可以参考视频的启动步骤:《Hadoop 回顾
  2.在对NameNode Active节点和NameNode Standby节点配置时
  hdfs-site.xml和core-site.xml两个文件中HDFS的NameService要保持一致;
在配置HA的实现时,Hadoop官方提供了两种NameNode HA的实现方式,分别是QJM和NFS,同学们可自选一种实现。
  3.在配置YARN的相关配置文件
  yarn-site.xml文件,有一个属性需要特别注意,它就是yarn.resourcemanager.ha.id这个属性。假设,我们在NNA节点上配置的是value值是rm1,那么在NNS节点上我们得将value换成rm2。
  4.在集群启动时,需注意按照以下顺序
  第一步:由于我们选择的是QJM方案,需要使用到zookeeper,所以在各个DataNode节点上启动zookeeper服务
  第二步:在其中一台NameNode节点(这里我预选取的是NameNode Active节点)启动journalnode服务,该服务用于共享存储,同步节点信息。
  第三步:若是首次启动,需要在其中一台NameNode Active节点上格式HDFS
  第四步:接着我们同样一台NameNode Active节点格式化zkfc,它对应的类是DFSZKFailoverController
  第五步:在NameNode Active节点启动hdfs服务和yarn服务
  第六步:同步NameNode Active节点的元数据
3.结束语
  这就是本节的主要内容,主要就对Hadoop做一个回顾学习,对后续学习Hadoop项目实战做一个准备工作。
  如果本教程能帮助到您,希望您能点击进去观看一下,谢谢您的支持!
   本课程的视频教程地址:《Hadoop 回顾


0

主题

2

听众

0

收听

注册会员

Rank: 2

积分
76
发表于 2016-6-25 19:07:07 | 显示全部楼层
呵呵,这是值得看看的东东啊。。。
回复 支持 1 反对 0

使用道具 举报

0

主题

2

听众

0

收听

注册会员

Rank: 2

积分
72
发表于 2015-7-4 10:28:09 | 显示全部楼层
谢谢了

5

主题

2

听众

0

收听

注册会员

Rank: 2

积分
115
发表于 2015-8-11 15:01:23 | 显示全部楼层
这套课程只有三节课么。。后续还有整个项目开发流程的讲解么

0

主题

4

听众

0

收听

高级会员

Rank: 4

积分
1335
发表于 2015-11-14 15:11:59 | 显示全部楼层
很不错 课程太少了 还有后面的吗

0

主题

3

听众

3

收听

中级会员

Rank: 3Rank: 3

积分
599
发表于 2017-2-23 15:52:04 | 显示全部楼层
非常感谢分享

0

主题

2

听众

0

收听

新手上路

Rank: 1

积分
30
发表于 2017-8-1 12:12:19 | 显示全部楼层
很不错的实战课程,谢谢分享
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2018-11-17 02:23 , Processed in 0.470036 second(s), 40 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表