分享

hadoop学习迷茫,你该如何学习

hyj 发表于 2014-4-9 17:32:20 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 7293
本帖最后由 pig2 于 2014-4-9 23:30 编辑
hadoop学习,我们大部分都是为了,工作。那么我们就需要从工作入手,看看企业有什么要求。我们需要掌握什么知识,而不是搭建完环境,写个mapreduce,就不知道该如何进行下去,不知道该如何学习了。

分析:
从岗位职责与要求看到你需要会mapreduce编程,hive,hbase使用。
还需要会一些语言,更深一步,需要具有hadoop调优等知识。
调优可以查看hadoop作业调优参数整理及原理
Hadoop作业调优参数如何调整及原理指导

其他知识可以通过搜索:
搜索
公司需求:

岗位职责:
1、负责维护管理现有hadoop集群,并优化底层架构;
2、负责hadoop平台上的MapReduce、hive、hbase应用维护与管理;
3、编写基础、通用的MapReduce、hive、hbase数据处理组件;
4、负责把hadoop分析结果导入到数据库中,并为bi提供分析数据。
5、负责指导其他软件工程师基于hadoop的MapReduce、hive、hbase应用开发

任职要求:
1、大学本科及以上学历,数学、计算机、统计学等相关专业
2、有Hadoop、MapReduce项目经验者优先,有传统数据仓库开发实践经验者优先。
3、熟悉linux开发环境;熟练掌握python、shell、perl中的一种;熟练掌握java开发。
4、有hadoop集群部署、运维、开发经验;
5、熟悉mapreduce、hive,hbase,(flume,kafka优先考虑);
6、有hadoop调优、统计学知识的优先考虑

已有(1)人评论

跳转到指定楼层
hyj 发表于 2014-4-9 17:34:56
本帖最后由 hyj 于 2014-4-9 17:36 编辑
公司规模:        500-999人
公司性质:        民营
公司行业:        IT服务(系统/数据/维护)  通信/电信运营、增值服务  电子技术/半导体/集成电路  计算机硬件  
工作经验:        3-5年        工作性质:        全职
最低学历:        本科        管理经验:        不要求
职位月薪:        15001-25000元/月        招聘人数:        1人
工作地点:        北京-海淀区        职位类别:        IT技术支持/维护经理
职位描述
1、负责日志数据的传输和存储
2、编写Hadoop Map/Reduce任务,日志数据进行ETL操作
3、编写Hive 脚本以及相关UDF任务,对数据进行建模
4、对Hadoop任务以及调度进行优化
5、熟悉Struts、Spring、Hibernate等J2EE开源框架


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条