分享

sqoop1.99.7 dataSql语句加了双引号,导致数据迁移出错。

天天 发表于 2016-10-30 15:45:28 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 7 15871
以下是正常的作业输出日志,
2016-10-28 20:39:49,959 INFO [org.apache.sqoop.connector.jdbc.GenericJdbcFromInitializer.configurePartitionProperties(GenericJdbcFromInitializer.java:137)] Found primary key columns [id]
2016-10-28 20:39:49,959 INFO [org.apache.sqoop.connector.jdbc.GenericJdbcFromInitializer.configurePartitionProperties(GenericJdbcFromInitializer.java:152)] Using partition column: id
2016-10-28 20:39:49,959 INFO [org.apache.sqoop.connector.jdbc.GenericJdbcFromInitializer.configurePartitionProperties(GenericJdbcFromInitializer.java:238)] Using min/max query: SELECT MIN( id ), MAX( id ) FROM sqoop_test . student

2016-10-28 20:39:49,960 INFO [org.apache.sqoop.connector.jdbc.GenericJdbcFromInitializer.configurePartitionProperties(GenericJdbcFromInitializer.java:291)] Boundaries for the job: min=1, max=2, columnType=4
2016-10-28 20:39:49,961 INFO [org.apache.sqoop.connector.jdbc.GenericJdbcFromInitializer.configureTableProperties(GenericJdbcFromInitializer.java:353)] Using dataSql: SELECT * FROM sqoop_test . student WHERE ${CONDITIONS}
2016-10-28 20:39:49,961 INFO [org.apache.sqoop.connector.jdbc.GenericJdbcFromInitializer.configureTableProperties(GenericJdbcFromInitializer.java:354)] Field names: id , name , sex , age , tel
2016-10-28 20:39:49,981 INFO [org.apache.hadoop.conf.Configuration.warnOnceIfDeprecated(Configuration.java:1173)] fs.default.name is deprecated. Instead, use fs.defaultFS
2016-10-28 20:39:49,988 INFO [org.apache.sqoop.connector.hadoop.security.SecurityUtils.generateDelegationTokens(SecurityUtils.java:75)] Running on unsecured cluster, skipping delegation token generation.
2016-10-28 20:39:49,988 INFO [org.apache.sqoop.connector.hdfs.HdfsToInitializer.initialize(HdfsToInitializer.java:90)] Using working directory: /user/lta_hdfs/testDir/.e86c5954-ed1a-4e43-9817-b12d13c507fb
2016-10-28 20:39:50,004 INFO [org.apache.sqoop.repository.JdbcRepositoryTransaction.close(JdbcRepositoryTransaction.java:111)] Attempting transaction commit
2016-10-28 20:39:50,038 INFO [org.apache.hadoop.yarn.client.RMProxy.createRMProxy(RMProxy.java:98)] Connecting to ResourceManager at /192.168.1.107:8032
2016-10-28 20:39:50,049 WARN [org.apache.hadoop.mapreduce.JobResourceUploader.uploadFiles(JobResourceUploader.java:64)] Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
2016-10-28 20:39:50,511 WARN [org.apache.hadoop.mapreduce.JobResourceUploader.uploadFiles(JobResourceUploader.java:171)] No job jar file set. User classes may not be found. See Job or Job#setJar(String).
2016-10-28 20:39:50,567 INFO [org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:198)] number of splits:1
2016-10-28 20:39:50,602 INFO [org.apache.hadoop.mapreduce.JobSubmitter.printTokens(JobSubmitter.java:287)] Submitting tokens for job: job_1477657370960_0003
2016-10-28 20:39:50,607 INFO [org.apache.hadoop.mapred.YARNRunner.createApplicationSubmissionContext(YARNRunner.java:371)] Job jar is not present. Not adding any jar to the list of resources.
2016-10-28 20:39:50,698 INFO [org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.submitApplication(YarnClientImpl.java:273)] Submitted application application_1477657370960_0003
2016-10-28 20:39:50,703 INFO [org.apache.hadoop.mapreduce.Job.submit(Job.java:1294)] The url to track the job: http://master:8088/proxy/application_1477657370960_0003/



然后r任务出错的日志
2016-10-28 20:40:37,372 INFO [org.apache.sqoop.connector.jdbc.GenericJdbcFromInitializer.configurePartitionProperties(GenericJdbcFromInitializer.java:137)] Found primary key columns [id]
2016-10-28 20:40:37,372 INFO [org.apache.sqoop.connector.jdbc.GenericJdbcFromInitializer.configurePartitionProperties(GenericJdbcFromInitializer.java:152)] Using partition column: id
2016-10-28 20:40:37,372 INFO [org.apache.sqoop.connector.jdbc.GenericJdbcFromInitializer.configurePartitionProperties(GenericJdbcFromInitializer.java:238)] Using min/max query: SELECT MIN("id"), MAX("id") FROM "sqoop_test"."teacher"
2016-10-28 20:40:37,373 ERROR [org.apache.sqoop.server.SqoopProtocolServlet.doPut(SqoopProtocolServlet.java:86)] Exception in PUT http://localhost:12000/sqoop/v1/job/jobTest1/start
org.apache.sqoop.common.SqoopException: GENERIC_JDBC_CONNECTOR_0016:Can't fetch schema
at org.apache.sqoop.connector.jdbc.GenericJdbcFromInitializer.initialize(GenericJdbcFromInitializer.java:64)
at org.apache.sqoop.connector.jdbc.GenericJdbcFromInitializer.initialize(GenericJdbcFromInitializer.java:47)
at org.apache.sqoop.driver.JobManager$1.call(JobManager.java:520)
at org.apache.sqoop.driver.JobManager$1.call(JobManager.java:517)

两个作业的配置如下,配置是一样的,只是输出路径不一样。
1.jpg

两个做作业对应的from    link如下:
2.png

为什么有一个作业sqoop会自动加上双引号。

已有(7)人评论

跳转到指定楼层
qcbb001 发表于 2016-10-30 20:07:08
感觉没太明白楼主的意思:
意思是说同样的表,同样的语句,在执行的时候,一个有问题,一个没有问题。
有问题的是因为执行的时候被系统加了双引号??

回复

使用道具 举报

天天 发表于 2016-10-31 15:31:25
qcbb001 发表于 2016-10-30 20:07
感觉没太明白楼主的意思:
意思是说同样的表,同样的语句,在执行的时候,一个有问题,一个没有问题。
有 ...

对,就是这样的意思,能用那个link是之前创建的,但是后来再创建新的link就不能用了,原来能用的link还是能用。不知道哪里出了问题,第一次用sqoop2,遇到挺多问题的。
回复

使用道具 举报

einhep 发表于 2016-10-31 15:44:06
天天 发表于 2016-10-31 15:31
对,就是这样的意思,能用那个link是之前创建的,但是后来再创建新的link就不能用了,原来能用的link还是 ...

会不会重复造成的。重启下系统在试试,看看是否 同样的问题。说不定是个bug
回复

使用道具 举报

天天 发表于 2016-11-2 17:38:23
重启过了,还是一样的。
回复

使用道具 举报

天天 发表于 2016-11-2 17:39:11
einhep 发表于 2016-10-31 15:44
会不会重复造成的。重启下系统在试试,看看是否 同样的问题。说不定是个bug

重启过了,还是一样的错误
回复

使用道具 举报

qcbb001 发表于 2016-11-4 19:42:16
天天 发表于 2016-11-2 17:39
重启过了,还是一样的错误

为何要重复执行,执行一个不就完了吗?
回复

使用道具 举报

天天 发表于 2016-11-8 09:29:25
qcbb001 发表于 2016-11-4 19:42
为何要重复执行,执行一个不就完了吗?

没有重复执行啊,这是执行两个不同的作业,不是重复执行同一个。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条