立即注册 登录
About云-梭伦科技 返回首页

pig2的个人空间 https://www.aboutyun.com/?61 [收藏] [复制] [分享] [RSS]

日志

云技术、大数据(hadoop)入门常见问题回答

热度 1已有 879 次阅读2014-5-26 17:16

本文链接:

问题导读:

当我们学习一门新技术的时候,我们总是产生各种各样的问题,这些问题整理出来,包括该
1.如何学习hadoop?
2.hadoop常见问题?
3.还有hbase、hive安装使用等?








1.你知道搭建hadoop平台需要些什么软件?
简单来讲就有多台电脑
没有多台电脑你就麻烦了:
需要懂虚拟机,懂网络配置,会编译hadoop。具体可以看下面内容
零基础学习hadoop到上手工作线路指导(初级篇)
http://www.aboutyun.com/thread-6780-1-1.html



2.请问一下,安装hive时用到的Mysql安装的时候是用root用户吗?
用不用无所谓,建议新建一个用户,注意权限问题
用户授权如下:

远程
GRANT ALL PRIVILEGES ON *.* TO "user"@"%" IDENTIFIED BY "password"
内网
GRANT ALL PRIVILEGES ON *.* TO "user"@"localhost" IDENTIFIED BY "password"

3.hive安装是否只需要服务器安装mysql?
是的,但是如果想远程访问,需要安装mysql客户端
具体可以参考
Ubuntu下面卸载以及安装mysql
http://www.aboutyun.com/thread-7788-1-1.html


4.学习Hadoop对Linux系统要求高不高?
hadoop就99.9%的跑在Linux上
你不会Linux,环境搭建就是个难题
可以看看这个
零基础学习hadoop到上手工作线路指导(初级篇)
http://www.aboutyun.com/thread-6780-1-1.html

5.学习hadoop,cygwin是干什么用的。
cygwin  是为了模拟Linux,你用Linux吧,window出了问题,也没人帮解决

6.windows 想装Hadoop需要换系统吗?
windows可以装虚拟机,内存要够大,4G勉强,8个还算不错。

7.学习hadoop需要什么基础?
Linux,虚拟化这些必备的,需要懂一些基本的,详细可以看
零基础学习hadoop到上手工作线路指导(初级篇)
http://www.aboutyun.com/thread-6780-1-1.html

8.cdh3 cdh4 和cdh5是什么意思?
这是Cloudera系列产品,Cloudera对hadoop做了相应的改变。
Cloudera公司的发行版,我们将该版本称为CDH(Cloudera Distribution Hadoop)。
CDH3,4,5是CDH的版本
具体可以参考:
大数据入门:各种大数据技术介绍
http://www.aboutyun.com/thread-7826-1-1.html

9.如何模拟namenode宕机
答:直接杀掉进程kill -9进程号
可以参考下面帖子:
模拟namenode宕机:数据块损坏,该如何修复
http://www.aboutyun.com/thread-7437-1-1.html

10.出现这个错误原因是什么?
ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
答:master宕机了或则防火墙没有关闭,最粗心的就是你没有启动hadoop。


11.什么是oom?
内存溢出

12.什么是HA?
HA是高可靠性,中文意思就是保险
比如hadoop,HA模式下主节点master挂掉,备用节点就会被启用

13.请教一下,有什么比较好的yarn入门的教程吗?
yarn就是一个资源管理器,mapreduce, storm,spark等,都可以跑在上面

yarn详解
http://www.aboutyun.com/thread-7678-1-1.html
yarn你可以从这个板块里面找
http://www.aboutyun.com/forum-143-1.html

14.DistributedCache将拷贝缓存的文件到Slave节点在任何Job在节点上执行之前。????这句什么意思?如果我要分析一个文件A,DistributedCach会把A的缓存文件copy到所有的节点吗?

答:
需要执行之前,否则这个缓存就没有意义了

DistributedCache将拷贝缓存的文件到Slave节点在任何Job在节点上执行之前。

通过DistributedCache在TaskTracker之间共享数据
http://www.aboutyun.com/thread-7131-1-1.html

认识hadoop缓存机制DistributedCach
http://www.aboutyun.com/thread-7125-1-1.html

15.什么是基于列的数据库,nosql基于列是如何操作的?
基于的列的数据库,列是可以随便增加和删除的。这也是nosql与传统关系数据库不一致或则说是相反的地方。
这里一定弄清楚列于列族的关系,列族包含列。

16.请问spill被分成精确的64M,会不会出现起始行、终止行不完整的情况
Hadoop MapReduce中如何处理跨行Block和inputSplit
http://www.aboutyun.com/thread-7704-1-1.html

17hadoop有没有定时执行指定的API接口?
用oozie

18.nosql与传统数据的区别是什么?
nosql的列是可以添加和删除的。列族,列的集合,列是动态增加的
详细可参考:
http://www.aboutyun.com/thread-7804-1-1.html


19.有没有yarn方面编程的实例?
yarn只是一个资源管理器,运行的还是mapredcue

20.出现hbase、hadoop集群使用命令不能停止该如何解决?
可以使用kill -9 进程号,杀掉进程

21.hbase该如何设计
一般2到3个列族,过多hbase容易出问题
22hbase如何保证性能?
并行查询

23.如何识别hbase表结构?
hbase表结构比传统数据库多了列族,列族固定,行和列都是可以动态增加和删除的。
详细可以参考以实战操作展示nosql与传统数据库的区别
http://www.aboutyun.com/thread-7805-1-1.html
24.hbase分区的目的是什么?
方便查询


25.hadoop2中container是什么?
container是一种资源cpu或则内存

26.如何找到和编译hadoop源码?
hadoop源码,可以去官网下载,官网中有32位安装包,和src代码包,但是代码可以使用maven下载编译源码等。
 

新手指导:hadoop官网介绍及如何下载hadoop(2.4)各个版本与查看hadoop API介绍
http://www.aboutyun.com/thread-7648-1-1.html
更多官网
hadoop生态系统官网
http://www.aboutyun.com/thread-6486-1-1.html

27.Linux的工具是什么?
Linux的工具对于传统开发人员比较难以理解,因为它都是使用的命令,没有图形界面。比如vi,vim,nano,我们使用的这些命令,其实使用的是文本编辑器,如同我们window打开的是txt与word。但是Linux是以命令的形式在使用。所以vi,vim可以暂时理解为工具。

28.其他传统开发人员比如.net、php,如何转行hadoop、云技术?
需要掌握Linux、基本的虚拟化、Java知识,详细可以参考
零基础学习hadoop到上手工作线路指导(初级篇)
http://www.aboutyun.com/thread-6780-1-1.html

29.hadoop工资怎么样?
hadoop工资比一般传统开发人员高一些。这个需要学习的成本会更大。新兴技术,人员也比较稀缺。以后就不知道了。

29.hadoop工作是否好找?

机会是有的,看你学习的水平

30.云技术开发使用什么语言?
云技术开发并没有发展新语言,重要的是框架。可以学习Java,python等。

openstack可以看看python
openstack开发,Python系列最全文档书籍下载

Java可以参考下面内容:

学习hadoop----java零基础学习线路指导视频(1)
这一篇我们使用什么开发工具,甚至考虑使用什么操作系统。然后就是Java基础知识篇,包括变量、函数等。

学习hadoop---Java初级快读入门指导(2)
第一篇是属于思想篇,那么这一篇属于实战篇,通过不同的方式,交给你怎么编写第一个小程序。

Java零基础:一步步教你如何使用eclipse创建项目及编写小程序实例
由于上面没有真正抽象出eclipse的使用,所以这里专门介绍了使用eclipse如何创建项目,及如何编写小程序实例


java基础:eclipse编程不得不知道的技巧
eclipse基本知识会了之后,我们在项目,这些技巧相当有用,而且经常用到


hadoop开发方式总结及操作指导
这是第三篇,我们上面熟悉之后,就可以开发hadoop。但是因为hadoop是属于分布式,所以如果对Java越是熟悉,可能产生的问题就会越多。这里总结了hadoop的开发方式。


31.大数据、云技术开发与传统开发有什么不一样?
云技术、大数据开发是一种历史的倒退,程序员涉及到了使用命令运行程序。主要原因,window不适合运行大数据、云技术,使的IT技术人员不得不学习和使用Linux,幸好Linux桌面版已经很不错。
适应Linux,会使用Linux搭建集群,Java会使用maven编译程序,最好会使用git。

32.该如何学习云技术、大数据?
云技术大数据入门,可以参考下面帖子
云技术、云计算入门指导视频
根据上面内容,决定自己该学习哪门技术,
大数据可以
零基础学习hadoop到上手工作线路指导(初级篇)

openstack可以参考下面内容:
openstack学习线路指导
http://www.aboutyun.com/thread-7225-1-1.html

33.什么是YARN?
YARN是hadoop1.X从jobtracer中脱离出来,YARN是hadoop2中资源管理器,上面不止可以运行mapreduce,还可以运行,storm,spark。其结构亦为主从式结构。

路过

雷人

握手

鲜花

鸡蛋

发表评论 评论 (1 个评论)

回复 wordwan@163.com 2014-8-19 09:55
  

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条