About云-梭伦科技
标题:
零基础学习hadoop到上手工作线路指导(初级篇)
[打印本页]
作者:
nettman
时间:
2014-2-2 20:33
标题:
零基础学习hadoop到上手工作线路指导(初级篇)
零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。在刚接触云计算,曾经想过培训,但是培训机构的选择就让我很纠结。所以索性就自己学习了。整个过程整理一下,给大家参考,欢迎讨论,共同学习。
从一开始什么都不懂,到能够搭建集群,开发。整个过程,只要有Linux基础,虚拟机化和java基础,其实hadoop,没有太大的困难。
(, 下载次数: 322)
上传
点击文件名下载附件
首先整体说一下学习过程给大家借鉴:
首先查阅了资料,什么是hadoop,至于这方面,你可以参考这个帖子
hadoop新手学习指导
。对这个有了整体的认识之后开始下面内容。(新手请务必参考
hadoop新手学习指导
,否则后面可能看不懂)
我们知道hadoop,有单机安装,伪分布安装和分布安装。
同时hadoop的环境是Linux,所以我们还需要安装Linux系统。因为我们的习惯是使用windows,所以对于Linux上来就安装软件之类的,困难度很大。并且我们要搭建集群,需要多台硬件的,不可能为了搭建集群,去买三台电脑。
从成本和使用我们需要懂虚拟化方面的知识。这里的虚拟化其实就是我们需要懂得虚拟机的使用。因为hadoop安装在Linux中,才能真正发挥作用。所以我们也不会使用windows。
(这里补充硬件的选择:最关键的是内存,2G内存是有点卡的,4G有点勉强的,8G用起来顺畅)
基于以上内容。所以我们需要懂得
1.虚拟化
2.Linux
3.java基础
下面来详细介绍
1.虚拟化
刚开始学习,上来就安装了虚拟机wmware station,然后创建虚拟机,安装Linux。但是问题来了。虚拟机的网络难住,因为缺乏这方面的知识,所以不得不停下来,学习虚拟机的网络,该怎么搞。虚拟机网络分为三种:
1.briage
2.host-only
3.nat
这不是很简单的吗?网上资料也不少。可是事情并没有想象的那么简单,因为nat虽然能上网,但是虚拟系统无法和本局域网中的其他真实主机进行通讯。桥接模式全都需要手工配置,而且这里还需要明白自己是本机拨号上网,还是路由拨号上网。host-only创建一个与网内其他机器相隔离的虚拟系统,这个更不行。这些都不适合我们的hadoop集群。
hadoop要求主机与虚拟机与外部网络(能上网),这三者都是通的,在安装的过程中,才不会遇到麻烦。
所以这就是虚拟化方面的困难。
下面总结了在虚拟化方面需要做的:
虚拟化零基础入门
此文章让你明白为什么虚拟化,虚拟化的价值
虚拟机入门二,虚拟机的三种网络模式
详细介绍了虚拟化三种网络模式
搭建集群必备虚拟化网络知识
上面了解三种网络模式,这三种网络模式该如何才能上网。
对于上面你可能了解的还不够,下面咱们论坛会员具体实践指导,可以与他们相互交流:
集群搭建:主机宽带拨号上网,虚拟机使用桥接模式,该如何ping通外网
集群搭建必备:虚拟机之一实现Host-only方式上网
集群搭建必备:nat模式设置静态ip,达到上网与主机相互通信
上面是三种不同网络模式下,如何达到,虚拟机,主机,网络三者互通。
上面的知识具备了我们开始动手:
第一步:下载软件
VMware Workstation 10.0.0简体中文正式版官方下载地址
ubuntu-desktop 版:是图形界面
ubuntu-12.04-desktop-amd64
链接:
http://pan.baidu.com/s/1eQxHLFO
密码: nnkv
新手指导windows使用虚拟机安装Linux(ubuntu):包括下载及安装指导
上面的帖子很齐全,包括wmware下载Linux桌面版下载。还有安装指导,包括下面需要讲解的Linux安装指导
第二步:
下载我们就需要安装和使用
VMware workstation安装linux(ubuntu)配置详解
在这里我们安装完毕虚拟机,安装完毕Linux,我们需要返回第一步,进行网络设置。但是在网络设置中,我们会遇到各种各样的困难,因为缺乏Linux知识。
同时这里补充一些虚拟化的基础知识:
虚拟网卡概述
VMware虚拟机网络设置方法
虚拟机(Linux操作系统)三种网络模式切换遇到的问题
虚拟机安装Linux视频
http://www.tudou.com/v/Xo-sc3QXH6E/&rpid=409655810&resourceId=409655810_04_05_99/v.swf
2.Linux
2.1、Linux基础知识
对于Linux的学习也是一个过程,因为可能你连最简单的开机和关机命令都不会,更不要谈配置网络。这里面给大家提供刚开始学习所查阅的资料和经验总结。
首先我们需要使用一些命令,进行网络配置,但是在网络配置中,这里面又必须懂得虚拟机的一些知识,所以前面的虚拟机知识需要掌握扎实一些。
对于网络配置:
集群搭建:主机宽带拨号上网,虚拟机使用桥接模式,该如何ping通外网
集群搭建必备:虚拟机之一实现Host-only方式上网
集群搭建必备:nat模式设置静态ip,达到上网与主机相互通信
其实还是上面三个,但是我们会遇到各种不会的命令,即使能查到命令,我们也不能使用。为什么会这样,因为各种有的命令,是需要使用安装包的。我们在配置网络过程中,同样会遇到各种各样的奇怪的配置。在我们的Linux的系统,不能找到文件。这里只举ubuntu。网络配置文件/etc/network/interfaces。我们配置完毕之后,有各种网络重启方式:
/etc/init.d/networking restart
复制代码
这是一种网络重启方式,但是有时候并不管用。
那么这时候我们遇到困难了,刚接触命令不起作用,该怎么办?
ifconfig eth0 down
复制代码
ifconfig eth0 up
复制代码
(这里同样需要明白,我这里使用的是eth0上网的,如果你使用的是eth1,就需要替换成eth1)
上面的两个命令能达到同样的效果。
在举一例:
我们需要配置网络文件,在很多网络配置是使用下面的命令的
vim /etc/network/interfaces
复制代码
但是我们看到下面错误
The program vim can be found in the following package:
vim
vim -gnome
vim-tiny
vim-gtk
vim-nox
Try:sudo apt-get install <select package>
复制代码
这和我们看到的配置完全不一样。这是因为我们安装Linux之后,并没有安装vim包。所以我们又遇到了困难。如果你熟悉Linux的话,这个根本不是问题。
vi /etc/network/interfaces
复制代码
上面命令迎刃而解。一个vim,一个vi。在我们刚接触这些肯定云里雾里,所以你需要首先有成就感,然后在慢慢接触。下面都是经过实践的内容,也算是经验,大家可以参考。
云技术基础:学习hadoop使用零基础linux(Ubuntu)笔记
搭建集群必知:Linux常用命令及修改文件总结(不断更新)
Linux网络接口ifconfig命令及认识网络接口lo
linux入门详细介绍
虚拟机安装linux网络配置资料大全
解决遇到Linux网络配置,从熟悉网络配置文件入手
(大体了解即可)
linux入门大全:包括零基础入门,Linux详细介绍
Linux重启方式init 0 init1 init 3 init 5 init 6 这几个启动级别都代表什么意思?
Ubuntu常用命令总结及修改DNS的多种方法总结
Linux关机各种关机命令总结
Linux基础必懂:eth0,eth1,eth2,lo是什么意思?
此篇文章帮助认识网卡,判断网卡是否启动,对于网络的也算是常识。
--------------------------------------------------------------------------------------------------------------------------------------------
linux中pwd命令详解
这是了解你所处路径的,起到辅助的作用。
linux之vi编辑器
此篇文章较为关键,因为经常用到,而且需要熟悉
编辑模式
命令模式
如何保存,如何退出等各种操作
linux yum命令详解
Linux下chkconfig命令详解
熟悉他的作用就是能够查看软件安装是否成功
2.1、Linux安装hadoop
上面切记浮躁,因为这也是上面一到两个月的总结。我们不可能一天两天就能完成。所以上面需要我们经过最起码完全一周的时间。我们熟悉了Linux命令,熟悉了网络知识。后面我们进行的快多了。
部署集群,首先需要安装java,然后安装hadoop。
首先我们还是从零基础开始。
我们需要下载和本地电脑相匹配的jdk,是32位的下载32位,是64位的下载64位。这里我们从最简单的入手。在这过程中,可能遇到问题的是环境变量的配置,造成命令不能识别。而这里你需要学习新的Linux知识。不过如果前面你已经配置完网络,有了这个基础,在学习新的知识,压力明显变小了。
下面给大家分享一下,在Linux中如何安装Java和hadoop。
(
hadoop2搭建参考
hadoop2.2完全分布式最新高可靠安装文档
)
Hadoop安装过程:Hadoop单机环境搭建权威指南(ubuntu)
安装完毕,我们该怎么用,该怎么测试安装成功。
集群安装完毕,该如何测试和使用集群-hadoop单机
通过上面帖子,我们很容易安装完成,如果是刚熟悉Linux,需要补充下面知识,才能顺利完成。
linux中Java jdk环境变量的含义
linux(ubuntu)安装Java jdk环境变量设置及小程序测试
Linux中source命令学习
今天在写点内容,以上咱们已经会安装集群了,那么我们就需要进入开发了。开发零基础,该如何,咱们提供了相关的内容分别介绍下面文章
学习hadoop----java零基础学习线路指导视频(1)
这一篇我们使用什么开发工具,甚至考虑使用什么操作系统。然后就是Java基础知识篇,包括变量、函数等。
学习hadoop---Java初级快读入门指导(2)
第一篇是属于思想篇,那么这一篇属于实战篇,通过不同的方式,交给你怎么编写第一个小程序。
Java零基础:一步步教你如何使用eclipse创建项目及编写小程序实例
由于上面没有真正抽象出eclipse的使用,所以这里专门介绍了
使用
eclipse如何创建项目,及如何编写小程序实例
java基础:eclipse编程不得不知道的技巧
eclipse基本知识会了之后,我们在项目,这些技巧相当有用,而且经常用到
hadoop开发方式总结及操作指导
这是第三篇,我们上面熟悉之后,就可以开发hadoop。但是因为hadoop是属于分布式,所以如果对Java越是熟悉,可能产生的问题就会越多。这里总结了hadoop的开发方式。
下一篇:
零基础学习hadoop到上手工作线路指导(中级篇)
推荐篇:
零基础学习hadoop到上手工作线路指导(编程篇)
########################
1T大数据人工智能资源获取
获取方式
长按/扫描二维码 ,后台回复关键词,公众号提示对应的数字
获取hadoop3.0集群安装包括Yarn扩展视频。后台回复关键词:
获取区块链资源。后台回复关键词:
作者:
yy504025810
时间:
2014-2-3 12:38
不错,我感觉这个挺好的额,顺便下来看那看~!
作者:
Marcel
时间:
2014-2-11 15:16
thanksssssss
作者:
jonsen99
时间:
2014-2-12 14:19
这个比另一个贴子的介绍详细一点。哪个才是原创啊?
作者:
noame
时间:
2014-2-18 10:04
总结的很好,谢谢楼主,辛苦
作者:
说的对,顶你
时间:
2014-2-19 16:01
楼主辛苦,求上手工作讲解
作者:
perfri
时间:
2014-3-1 13:23
学习中,谢谢分享。
作者:
lxh840321
时间:
2014-3-3 09:20
谢谢楼主。。。
作者:
jsyzxq2001
时间:
2014-4-19 15:05
总结的很好,谢谢楼主,辛苦
作者:
love471802048
时间:
2014-4-21 14:30
顶一下,楼主辛苦了
作者:
love471802048
时间:
2014-4-21 15:34
楼主辛苦了!顶一个
作者:
love471802048
时间:
2014-4-22 12:41
顶一个阿顶一个
作者:
linuxer
时间:
2014-4-30 10:33
作者:
362662486
时间:
2014-4-30 12:13
ffffffffffffffffffffffffffffffffffffffffff
作者:
love1314sea
时间:
2014-5-2 18:04
写的真好
作者:
adai0620
时间:
2014-5-17 21:25
谢谢分享
作者:
大的负担
时间:
2014-5-22 17:04
不错的资料,新手有福了
作者:
chencheng06
时间:
2014-5-23 15:04
有点想简单了...
作者:
旋风来袭
时间:
2014-6-3 12:04
作者:
kevindai
时间:
2014-6-6 22:50
謝謝分享這麼好的東西
作者:
自由电子
时间:
2014-6-11 09:37
楼主辛苦了,对应新手来说真是好啊
作者:
lycan
时间:
2014-6-13 11:48
总结的真不错,值得学习
作者:
谬师
时间:
2014-6-13 14:55
精品mark ,谢谢分享
作者:
Felicity
时间:
2014-6-15 20:20
很好的资料,现在正在徐徐
作者:
a123zxq
时间:
2014-6-27 17:14
很好的帖子,谢谢LZ
作者:
lvning008
时间:
2014-7-8 13:47
好帖子,学习了
作者:
ascentzhen
时间:
2014-7-18 16:19
不错的资料,很全面
作者:
跃阳紫
时间:
2014-7-29 09:53
谢谢楼主分享,学习中
作者:
june_fu
时间:
2014-8-16 11:48
太好了,多谢版主!!
作者:
yangj2ee
时间:
2014-8-16 14:07
不错,谢谢楼主分享,学习中。。。
作者:
shengzhilei
时间:
2014-9-2 08:29
感谢分享。。。
作者:
zhang
时间:
2014-9-29 09:21
作者:
sufeidaoke
时间:
2014-9-29 15:35
终于找到云组织了!
作者:
maizhu
时间:
2014-10-3 22:54
在ssh免密码配置的时候,ssh localhost 能够实现免密码登录,但是在start-all.sh运行时,还是需要输入root的密码,复制公钥,更改文件权限都没用,不知道问题出在哪里
作者:
pig2
时间:
2014-10-6 20:11
maizhu 发表于 2014-10-3 22:54
在ssh免密码配置的时候,ssh localhost 能够实现免密码登录,但是在start-all.sh运行时,还是需要输入root ...
参考下面内容:
linux(
ubuntu)ssh无密码互通、相互登录高可靠文档
CentOS6.4之图解SSH无验证双向登陆配置
作者:
army上尉
时间:
2014-10-10 14:01
顶起 LZ 牛B
作者:
irisding
时间:
2014-10-20 14:11
好贴 mark
作者:
wwz573398723
时间:
2014-10-23 21:17
谢谢分享!!!!!!
作者:
yi40834
时间:
2014-11-28 14:29
相当的详细啊
作者:
redhat1986
时间:
2014-12-4 20:38
谢谢分享!
作者:
jin_han
时间:
2014-12-10 13:39
好帖,楼主辛苦了!
作者:
youkaisteve
时间:
2014-12-10 21:03
版主大好人呐,多谢!
作者:
yzq025
时间:
2014-12-12 16:18
回帖用来收藏
作者:
式微
时间:
2014-12-18 21:52
太爽啦!对于大二的菜菜,这简直是莫大的帮助,谢谢楼主!
作者:
水魔方
时间:
2014-12-19 14:45
感谢分享,感谢楼主
作者:
holly311
时间:
2014-12-19 16:14
参照路线学习
作者:
feng01301218
时间:
2015-1-13 09:19
安装完毕虚拟机,安装完毕Linux,我们需要返回第一步,进行网络设置。但是在网络设置中,我们会遇到各种各样的困难,因为缺乏Linux知
作者:
落魂草
时间:
2015-1-13 19:30
MARK一下!!
作者:
ahngzw
时间:
2015-1-16 14:04
好好学习这个视频
作者:
suiheart
时间:
2015-1-29 14:13
真心需要这些资料
作者:
懒惰的穷人
时间:
2015-2-1 07:51
不知道咋样,先收藏慢慢学
作者:
quenshea
时间:
2015-2-28 15:51
写的非常好啊,还需要java基础
作者:
tang
时间:
2015-3-7 11:09
不错,挺好的
作者:
tang
时间:
2015-3-9 20:50
写得很好呀!!!
作者:
tang
时间:
2015-3-9 20:51
写得很好呀!!!
作者:
runpsw
时间:
2015-3-10 19:42
楼主 没有把关键东西写出来啊?求eclipse 链接 hadoop 的配置教程。
作者:
LeucotheaShi
时间:
2015-3-24 15:24
楼主真好~我一开始就卡在虚拟机网络上了,本来就不懂网络更何况是虚拟机网络~~~~(>_<)~~~~
回家照着楼主的贴纸学哈~
作者:
云晓翼
时间:
2015-3-30 14:54
正是我想找的,谢谢分享
作者:
blmg01
时间:
2015-4-12 20:21
mark,开始学习!
作者:
mingguiboy
时间:
2015-4-15 16:42
感谢分享,内容很全面
作者:
Gulda
时间:
2015-4-16 09:39
好贴先马。。。
作者:
西山东
时间:
2015-4-16 22:55
这个必须有
作者:
恶变133
时间:
2015-5-3 16:27
感谢分享!
作者:
zbjbaggio
时间:
2015-5-8 10:39
不错龙哥辛苦
作者:
wwj_007176
时间:
2015-5-12 00:47
看起来很不错的样子
作者:
David00
时间:
2015-6-4 15:06
我也觉得挺好 终于找到要找的东西了
作者:
cun2001
时间:
2015-6-21 20:52
see see
作者:
bococd
时间:
2015-6-23 22:24
总结的很好,谢谢楼主,辛苦
作者:
1027420005
时间:
2015-6-24 12:50
楼主辛苦了。
作者:
1027420005
时间:
2015-6-26 09:14
赞赞赞
作者:
bicarqiu
时间:
2015-7-6 21:36
谢谢楼主分享
作者:
fdfdggg
时间:
2015-7-7 09:42
謝謝分享這麼好的東西
作者:
larry
时间:
2015-7-14 23:17
说的很细致,对于有编程经验的人来说一看就懂,剩下的就是花时间弄好自己的环境,并多多尝试
作者:
flightonair
时间:
2015-7-20 10:56
此贴必火,初学者的福音啊,很好的Roadmap,操作性强
作者:
walterchen
时间:
2015-8-16 22:07
比较详细,不错
作者:
Leo_Leung
时间:
2015-8-29 08:58
正在学习,非常感谢分享de好人
作者:
qazzxc5200
时间:
2015-9-3 09:01
努力往上爬,學習中
作者:
dantangkai
时间:
2015-10-15 14:33
很详细,谢谢
作者:
ifyouknow
时间:
2015-10-21 09:44
谢谢楼主分享
作者:
xorxos
时间:
2015-10-28 15:42
感谢楼主分享整理这么好的东西!
作者:
hou6757
时间:
2015-11-1 20:59
提示:
该帖被管理员或版主屏蔽
作者:
beidou179
时间:
2015-11-6 10:42
作者:
yiyifinance
时间:
2015-11-11 17:45
作者:
不疼
时间:
2015-11-19 17:30
非常条理,很详细,也很容易理解,好帖子,谢谢分享。
作者:
hello1988
时间:
2015-11-25 13:59
学习了
作者:
xuliang123789
时间:
2015-12-2 11:20
万分感谢楼主的无私奉献,赞~~赞~~赞~~
作者:
xuliang123789
时间:
2015-12-2 17:05
总结的特别好,赞~~~
作者:
ivorytower
时间:
2015-12-11 21:35
新手上路了
作者:
xiazhengwei
时间:
2015-12-18 11:32
东西不错,但是自学起来还是有点吃力,有的坑只有你自己经历过才能学到东西。
作者:
zoonctrl
时间:
2015-12-25 16:28
都支持一下 知识的更新也是需要人力去做的
作者:
a530491093
时间:
2016-1-21 18:44
赞一个,感谢分享!么么哒
作者:
夕阳光下丶
时间:
2016-2-17 09:10
楼主写的很仔细。不过还是要有linux的基础才行。还是很感谢楼主分享。
作者:
stwen
时间:
2016-2-23 20:03
大赞,楼主辛苦了
作者:
韩东
时间:
2016-3-9 18:56
谢谢楼主
作者:
jiaozi
时间:
2016-3-20 11:10
想问下,虚拟机为什么要和外网连通
作者:
We1
时间:
2016-3-20 22:16
非常感谢楼主分享
作者:
louxl2008
时间:
2016-3-30 11:28
0基础学习中
作者:
walence-k
时间:
2016-4-5 22:19
感谢楼主
作者:
superwxq
时间:
2016-4-6 23:21
抓紧学习中
作者:
止于至善-传宝
时间:
2016-4-18 16:40
精华,10000点赞
欢迎光临 About云-梭伦科技 (https://www.aboutyun.com/)
Powered by Discuz! X3.4