分享

集群安装完毕,该如何测试和使用集群-hadoop单机(伪分布)

本帖最后由 pig2 于 2014-2-8 22:56 编辑

集群安装完毕,该如何测试和使用集群:

运行hadoop首先进入hadoop所在目录,第一次执行要格式化文件系统bin/hadoop namenode –format
启动bin/start-all.sh
用jps命令查看进程,显示:
root@ubuntu:/usr/hadoop/hadoop-1# jps
6449 DataNode
6998 TaskTracker
33851 Jps
6200 NameNode
6765 JobTracker
6683 SecondaryNameNode


少一个都不对
还有就是使用web接口访问

http://localhost:50030
可以查看JobTracker的运行状态

      


http://localhost:50060
可以查看TaskTracker的运行状态

  
      


http://localhost:50070
        
可以查看NameNode以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及log等。









运行测试实例wordcount
注意:1.注意wordcount大小写,这里都是小写
         2.复制命令可能会出现命令不识别,尽量手写
copyFromLocal: Unknown command
Usage: java FsShell
           [-ls <path>]
      .......
           [-help [cmd]]



这里使用附带jar包里的wordcount
(1)先在本地磁盘建立两个输入文件file01 和 file02:
$ echo "Hello World Bye World" > file01  
$ echo "Hello Hadoop Goodbye Hadoop" > file02
(2)在hdfs 中建立一个input目录:
$ hadoop fs –mkdir input
(3)将file01 和 file02 拷贝到hdfs中:  
$ hadoop fs –copyFromLocal file0* input
(4)执行wordcount:  
$ hadoop jar hadoop-examples-1.2.0.jar wordcount input output
(5)完成之后,查看结果:
$ bin/hadoop fs -ls . 查看已有的文件列表
$ hadoop fs -cat output/part-r-00000  查看结果
结果为:可见把单词都统计了
Bye 1  
Goodbye 1
Hadoop 2
Hello 2
World 2  



来自群组: Hadoop技术组

已有(8)人评论

跳转到指定楼层
tang 发表于 2015-3-6 18:14:26
讲得不错,学习了
回复

使用道具 举报

AlexFeng 发表于 2015-6-2 20:18:19
学习了~~~
回复

使用道具 举报

liuer2004_82 发表于 2015-10-12 10:31:09
我是用yarn来作为mapreduce的机制,是不是jobtracker和tasktracker被resourcemanager和nodemanager代替了?
回复

使用道具 举报

juedaiyuer 发表于 2015-11-5 18:20:57
如何解决这个问题,纠结了好几个小时了
QQ截图20151105181958.png
回复

使用道具 举报

pig2 发表于 2015-11-5 18:23:06
juedaiyuer 发表于 2015-11-5 18:20
如何解决这个问题,纠结了好几个小时了

ssh失败,参考这个文档,重新配置下。一次不行,两次,不要嫌麻烦
linux(ubuntu)ssh无密码互通、相互登录高可靠文档
http://www.aboutyun.com/thread-7703-1-1.html


回复

使用道具 举报

juedaiyuer 发表于 2015-11-6 12:46:33
本帖最后由 juedaiyuer 于 2015-11-6 12:49 编辑
pig2 发表于 2015-11-5 18:23
ssh失败,参考这个文档,重新配置下。一次不行,两次,不要嫌麻烦
linux(ubuntu)ssh无密码互通、相互 ...

楼主,我的ssh localhost 实现了无密码的操作,可是在运行hadoop的时候,需要输入密码好吧,刚才我看了一下hadoop是在root情况下运行的,我尝试一下看看能不能hadoop在非root下运行
回复

使用道具 举报

Ehadoop 发表于 2016-8-7 10:36:22
多谢分享,还有没有多一点的使用案例
回复

使用道具 举报

about_1 发表于 2019-1-25 16:41:20
细细品味,会心详查,应于实战,谢谢楼主分享
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条