立即注册 登录
About云-梭伦科技 返回首页

韩克拉玛寒的个人空间 https://www.aboutyun.com/?9721 [收藏] [复制] [分享] [RSS]

日志

一.hadoop课程大纲

热度 1已有 935 次阅读2014-9-18 16:33 |个人分类:About云| streaming

一.hadoop课程大纲

1.hadoop 介绍以及版本常识
2.hadoop 周边环境和实际应用
3.red hat 虚拟机搭建及环境配置
4.hadoop0.20.2 伪分布式环境搭建
5.hadoop 简单map reduce开发
6.hadoop 压缩机制与回收站
7.hadoop 命令学习
8.简单学习perl与python脚本
9.java perl python 三种语言解析文本效率测试
10.hadoop streaming 开发
11.git 安装与命令
12.git 下载hadoop 0.20-append版本 并ant编译源码
13.hadoop 完全分布式环境搭建
14.虚拟机NAT方式转发ip以及端口
15.生产机多磁盘划分与hadoop配置
16.hadoop 参数配置优化
17.hadoop 集群新增以及删除节点
18.hadoop secondary namenode 单独部署
19.hadoop HA测试以及恢复
20.hadoop 日志文件ETL开发
21.0.20-append版本实现文件多目录输出
22.抽象配置方式实现 自动化ETL
23.定时脚本自动执行ETL代码
24.常见hadoop面试问题

二.hadoop 周边环境学习大纲
(1).sqoop大纲
1.sqoop1.4.3下载与安装
2.linux 安装mysql
3.通过sqoop 从mysql 导入导出hadoop集群
4.sqoop 密码安全
5.sqoop job 开发
6.sqoop 连接metastore
7.常见sqoop面试问题
(2).hive大纲
1.hive0.12 下载与安装
2.修改hive源码 解决与hadoop版本不兼容问题
3.修改ant源码 bug用来编译hive0.12
4.hive详细配置与mysql连接方式
5.hive 客户端方式实现hql查询语句
6.远程启动hive服务方式编写hql 实现jdbc方式开发
7.hive数据类型与窗口函数
8.hive 自定义库实现udf开发
9.hive 自定义库实现udaf开发
10.面试问题
(3)pig学习大纲
1.pig0.12版本下载与安装
2.pig的数据类型
3.pig 流式开发流程
4.编写pig脚本
5.面试问题
(4) ganglia监控大纲
1.ganglia 3.0.7版本下载
2.下载rpm 包 本机安装缺失包
3.安装配置 rpm包
4.安装ganglia
5.ganglia的单播与多播
6.ganglia与hadoop结合监控
7.多集群部署ganglia的方案
8.黄绿蓝集群测试
9.自定义gmetric
10.ganglia一键式部署
11.其他开源监控对比
12.面试问题

个人发表下大致的学习目录,如和大神们一致,请见谅!!!!


路过

雷人
1

握手

鲜花

鸡蛋

刚表态过的朋友 (1 人)

评论 (0 个评论)

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条