分享

hadoop客户端安装,help???

zzzzyyyyy 2013-12-30 14:07:46 发表于 疑问解答 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 7 11464
需要装一台客户端机器,机器需要安装哪些内容:
配置ssh?
装hadoop,改配置文件??
hive?
sqoop?
修改.bashrc文件??有没有具体说明书啊???

已有(7)人评论

跳转到指定楼层
pig2 发表于 2013-12-30 14:41:35
你这个客户端机器是做什么用的
回复

使用道具 举报

zzzzyyyyy 发表于 2013-12-30 14:47:36
pig2 发表于 2013-12-30 14:41
你这个客户端机器是做什么用的

只是用来执行hive命令,将关系数据库的数据通过sqoop数据导入到hdfs,而不是在机房的操作!!我hive执行产生的结果,在客户端上,可以直接导出来!!
回复

使用道具 举报

zzzzyyyyy 发表于 2013-12-30 14:51:08
zzzzyyyyy 发表于 2013-12-30 14:47
只是用来执行hive命令,将关系数据库的数据通过sqoop数据导入到hdfs,而不是在机房的操作!!我hive执行 ...

如果我远程连过去的话,hive执行的结果都在机房的机器上,取结果不是很方便啊!
回复

使用道具 举报

pig2 发表于 2013-12-30 14:53:18
你是说像:
把客户端加到集群中 成为一个节点 但是我不指定这个客户端节点做任何事情,所以这个机器不是数据节点也不是任务节点  但是把客户端机器安装上sqoop和hive 这样能达到目的吧。

这样应该没问题。

回复

使用道具 举报

raindrop 发表于 2013-12-30 17:09:12
很好!很好!很好!很好!
回复

使用道具 举报

lzw 发表于 2013-12-30 20:12:49

你试试下面的安装方式,我也从来没有安装过。

服务器用户名:hadoop

  • 下载hadoop安装包,保证和服务器版本一致,解压tar zxvf hadoopx.x.x.tar.gz。
  • 配置

    • 系统配置
      修改 ~/.bashrc 文件
      添加 export PATH=/path/to/hadoop/home/:$PATH

    hadoop配置文件修改
    在客户端只需配置集群namenode 和 jobtracker 的相关信息,以及java安装目录。即修改conf目录下文件:
    hadoop-env.sh:
    1. export JAVA_HOME=/home/mjiang/hadoop_work/jrockit-jdk1.6.0_29
    复制代码
    core-site.xml
    1. <property>
    2. <name>fs.default.name</name>
    3. <value>hdfs://master:8020</value>
    4. </property>
    复制代码
    mapred-site.xml:
    1. <property>
    2. <name>mapred.job.tracker</name>
    3. <value>master:8021</value>
    4. </property>
    复制代码

  • 现在hadoop客户端已经配置好,可以运行基本的命令如:
    hadoop fs -lsr /
    但是由于服务器端还没有设置权限,所以向hdfs系统上传文件等命令还不能运行。


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条