立即注册登录

About云-梭伦科技返回首页

pig2的个人空间 https://www.aboutyun.com/?61 [收藏] [复制] [分享] [RSS]

日志

大数据中级入门问题汇总

热度 4已有 3160 次阅读2014-6-6 20:58

1.hadoop2.2.0的Eclipse开发环境搭建，能不能部署在非hadoop节点的机器上啊？

可以的
Windows上使用Eclipse远程连接Hadoop进行程序开发
http://www.aboutyun.com/thread-6001-1-1.html

2.请教个问题在 namenode1 上面启动 start-yarn.sh 总是报异常

2014-06-06 15:12:43,192 INFO org.apache.hadoop.http.HttpServer: HttpServer.start() threw a non Bind IOException
java.net.BindException: Port in use: yarn1:8088
        at org.apache.hadoop.http.HttpServer.openListener(HttpServer.java:742)
        at org.apache.hadoop.http.HttpServer.start(HttpServer.java:686)
        at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:257)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.startWepApp(ResourceManager.java:623)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceStart(ResourceManager.java:655)
        at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:872)
Caused by: java.net.BindException: Cannot assign requested address
        at sun.nio.ch.Net.bind0(Native Method)
        at sun.nio.ch.Net.bind(Net.java:444)
        at sun.nio.ch.Net.bind(Net.java:436)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:214)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        at org.mortbay.jetty.nio.SelectChannelConnector.open(SelectChannelConnector.java:216)
        at org.apache.hadoop.http.HttpServer.openListener(HttpServer.java:738)
        ... 6 more
这是因为什么导致的谁清楚
yarn1 上面查看  8088 端口并没有被占用

解答：

报的很明显了，你在namenode1上，你通过这个sudo netstat -ap | grep 8088，然后杀掉这个进程就好了

命令，可以参考下面的

http://www.aboutyun.com/blog-61-127.html

3.请教下，CDH的配置文件是写到哪里了啊

etc下面

详细可参考cdh5伪分布

http://www.aboutyun.com/thread-6888-1-1.html

4.在eclipse中要配置hadoop路径吗？

如果远程不需要配置，你只要使用hadoop提供的插件链接就可以

http://www.aboutyun.com/thread-6950-1-1.html

面介绍了两种方式，其中一种就是插件

5.启动hadoop集群失败可能原因是什么？

1）有没有建立临时文件夹tmp

2）检查权限问题

5.如何运行mapreduce？

hadoop集群，如何运行Java jar包---如何运行mapreduce程序

http://www.aboutyun.com/thread-7408-1-1.html

6.问大家一个问题，看源码的话是看hadoop1.X还是看版本hadoop2.X呢?

看你想干什么了，最好能看2的，但是网上2的资料很少，可以先看1有些基础，大体了解了，在看2.
这里有1的源码方面的解释，你可以看看

hadoop源码分析汇总及文档下载
http://www.aboutyun.com/thread-7654-1-1.html

7.hadoop2.2看不到 JobTracker 和 TaskTracker?50030 还能访问不?

hadoop2有yarn了，不使用JobTracker 和 TaskTracker了

yarn详解
http://www.aboutyun.com/thread-7678-1-1.html

端口有所变化，下面帖子有详细说明
hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
http://www.aboutyun.com/thread-7513-1-1.html

8.有eclipse实现的hbase数据入库的例子代码，麻烦提供来参考一下

面是一个操作habse的例子
Java操作hbase编程
http://www.aboutyun.com/thread-7075-1-1.html

9.hadoop 2.2 应该对应hbase哪个版本?

可以参考2.2可以跟0.96
hbase 0.96整合到hadoop2.2三个节点全分布式安装高可靠文档

http://www.aboutyun.com/thread-7746-1-1.html

版本匹配参考：

hadoop、hbase、hive版本对应关系

http://www.aboutyun.com/blog-61-62.html

10.hadoop 目前比较新的相对比较的稳定版本是哪个呢

可以看看2.0人家淘宝早已经升级2.0了
淘宝主搜索离线集群完成hadoop2.0升级介绍

http://www.aboutyun.com/thread-7169-1-1.html?_dsign=23bc5268

11.如何验证Hadoop是否配置成功？

hadoop的进程都存在：

hadoop1包含5个进程（伪分布）

hadoop2（完全分布）

我们看到如下效果：

master有如下进程：

slave1有如下进程

此时hadoop集群已全部配置完成！！！

12hadoop下面的子项目如hbase，hive都需要熟练掌握吗？还是重点掌握哪几个

技多不压人，有的公司用hbase、有的hive，掌握多了更好，还有更多内容，可以看看hadoop家族

大数据架构师基础：hadoop家族，Cloudera产品系列等各种技术

刚表态过的朋友 (3 人)

收藏分享邀请举报

全部作者的其他最新日志

发表评论评论 (2 个评论)

回复 concise 2015-6-8 16:00: 最后一个连接失效了，“hadoop家族，Cloudera产品系列等各种技术”这个

回复 pig2 2015-6-9 01:48: concise: 最后一个连接失效了，“hadoop家族，Cloudera产品系列等各种技术”这个
已经ok了

pig2

推荐 /2

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / 京ICP备2020039040号简书网举报电话：021-34700000

意见
反馈