分享

Sqoop的安装与使用

本帖最后由 hyj 于 2014-4-25 16:53 编辑
问题导读:
1.mysql-connector-java-5.1.10.jar的作用是什么?
2.sqoop-env.sh都配置了哪些内容?
3.sqoop-env-template.sh sqoop-env.sh重命名的作用是什么?
4.把数据从mysql导入到hdfs中sqoop语句该如何写?
5.把数据从hdfs导出到mysql中sqoop语句该如何写?




Sqoop是一个转换工具,用于在关系型数据库与HDFS之间进行数据转换。强大功能见下图
1.png
以下操作就是使用sqoop在mysql和hdfs之间转换数据。

1.安装
我们使用的版本是sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz,打算安装在/usr/local目录下。
首先就是解压缩,重命名为sqoop,然后在文件/etc/profile中设置环境变量SQOOP_HOME。
把mysql的jdbc驱动mysql-connector-java-5.1.10.jar复制到sqoop项目的lib目录下。

2.重命名配置文件
在${SQOOP_HOME}/conf中执行命令

  1. mv  sqoop-env-template.sh  sqoop-env.sh
复制代码


在conf目录下,有两个文件sqoop-site.xml和sqoop-site-template.xml内容是完全一样的,不必在意,我们只关心sqoop-site.xml即可。

3.修改配置文件sqoop-env.sh
内容如下

  1. #Set path to where bin/hadoop is available
  2. export HADOOP_COMMON_HOME=/usr/local/hadoop/
  3. #Set path to where hadoop-*-core.jar is available
  4. export HADOOP_MAPRED_HOME=/usr/local/hadoop
  5. #set the path to where bin/hbase is available
  6. export HBASE_HOME=/usr/local/hbase
  7. #Set the path to where bin/hive is available
  8. export HIVE_HOME=/usr/local/hive
  9. #Set the path for where zookeper config dir is
  10. export ZOOCFGDIR=/usr/local/zk
复制代码


好了,搞定了,下面就可以运行了。

4.把数据从mysql导入到hdfs中
在mysql中数据库test中有一张表是aa,表中的数据如下图所示
2.png
现在我们要做的是把aa中的数据导入到hdfs中,执行命令如下

  1. sqoop ##sqoop命令
  2. import ##表示导入
  3. --connect jdbc:mysql://ip:3306/sqoop ##告诉jdbc,连接mysql的url
  4. --username root ##连接mysql的用户名
  5. --password admin ##连接mysql的密码
  6. --table aa ##从mysql导出的表名称
  7. --fields-terminated-by '\t' ##指定输出文件中的行的字段分隔符
  8. -m 1 ##复制过程使用1个map作业
复制代码


以上的命令中后面的##部分是注释,执行的时候需要删掉;另外,命令的所有内容不能换行,只能一行才能执行。以下操作类似。
该命令执行结束后,观察hdfs的目录/user/{USER_NAME},下面会有一个文件夹是aa,里面有个文件是part-m-00000。该文件的内容就是数据表aa的内容,字段之间是使用制表符分割的。

5.把数据从hdfs导出到mysql中
把上一步导入到hdfs的数据导出到mysql中。我们已知该文件有两个字段,使用制表符分隔的。那么,我们现在数据库test中创建一个数据表叫做bb,里面有两个字段。然后执行下面的命令

  1. sqoop
  2. export ##表示数据从hive复制到mysql中
  3. --connect jdbc:mysql://192.168.1.113:3306/test
  4. --username root
  5. --password admin
  6. --table bb ##mysql中的表,即将被导入的表名称
  7. --export-dir '/user/root/aa/part-m-00000' ##hive中被导出的文件
  8. --fields-terminated-by '\t' ##hive中被导出的文件字段的分隔符
复制代码


命令执行完后,再去观察表bb中的数据,是不是已经存在了!
总结:sqoop就是一个数据转换工具



吴超

已有(9)人评论

跳转到指定楼层
perfri 发表于 2014-4-27 16:13:25
回复

使用道具 举报

jxlhljh 发表于 2014-12-10 14:07:22
有没有hadoop的版本限制
回复

使用道具 举报

muyannian 发表于 2014-12-10 14:31:20
jxlhljh 发表于 2014-12-10 14:07
有没有hadoop的版本限制

官方有提供的,如果没有提供相应版本可以自己编译

编译 sqoop 1.4.4 for hadoop 2.4.1
回复

使用道具 举报

wubaozhou 发表于 2015-1-1 18:08:36
回复

使用道具 举报

wupengte 发表于 2016-7-15 13:37:09
顶下啦  。。。。。。。。。。。。。。
回复

使用道具 举报

wupengte 发表于 2016-7-15 13:45:00
顶一顶啦  。。。。。。。。。
回复

使用道具 举报

耿晓鹏 发表于 2016-7-18 17:20:59
请教一下,我的hive2是1.994版本的,创建link总报错找不到class,::: There are issues with entered data, please revise your input:
Name: oracle

Link configuration

Error message: Class not found
JDBC Driver Class: oracle.jdbc.driver.OracleDriver
JDBC Connection String: jdbc:oracle:thin:@60.24.60.71:1521:biee_ana
Username: biee_ana
Password: ******
JDBC Connection Properties:
There are currently 1 values in the map:
protocol = tcp
entry#



我已经把ojdbc6.jar ojdbc5.jar 都放在了/var/lib/sqoop2/下,为什么还报错
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条