Hive出现异常 FAILED: Error In Metadata: 的解决办法

问题导读：
1.FAILED: Error in metadata:可能的原因是什么？
2.通过什么设置可以输出hive的debug信息？







在公司的虚拟机上运行hive计算，因为要计算的数据量较大，频繁，导致了服务器负载过高，mysql也出现无法连接的问题，最后虚拟机出现The remote system refused the connection.重启虚拟机后，进入hive。

hive> show tables;

出现了下面的问题：

FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClientFAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

网上查找解决的办法：

看到有一些别人说明的原因，如：mysql的权限不够。修改数据库用户权限，或者hive/bin目录权限。还有告诉要在hadoop bin/hadoop namenode -format目录的（这个办法很扯，自己去查看一下hadoop fs -ls /，hadoop运行正常）。还有说要情况/tmp目录的。这些办法都不是真正解决问题的办法。

用下面的命令，重新启动hive

./hive -hiveconf hive.root.logger=DEBUG,console

hive> show tables;

能够看到更深层次的原因的是：

Caused by: java.lang.reflect.InvocationTargetException

at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)

at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)

at java.lang.reflect.Constructor.newInstance(Constructor.java:513)

at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1076)

… 23 more

Caused by: javax.jdo.JDODataStoreException: Exception thrown obtaining schema column information from datastore

NestedThrowables:

com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table ‘hive.DELETEME1370713761025′ doesn’t exist
复制代码

根据提示的信息，登陆mysql或者mysql客户端查看hive的数据库的表信息

mysql -u root -p

mysql> use hive;

mysql> show tables;

+—————————+

| Tables_in_hive            |

+—————————+

| BUCKETING_COLS            |

| CDS                       |

| COLUMNS_V2                |

| DATABASE_PARAMS           |

| DBS                       |

| DELETEME1370677637267     |

| DELETEME1370712928271     |

| DELETEME1370713342355     |

| DELETEME1370713589772     |

| DELETEME1370713761025     |

| DELETEME1370713792915     |

| IDXS                      |

| INDEX_PARAMS              |

| PARTITIONS                |

| PARTITION_KEYS            |

| PARTITION_KEY_VALS        |

| PARTITION_PARAMS          |

| PART_COL_PRIVS            |

| PART_COL_STATS            |

| PART_PRIVS                |

| SDS                       |

| SD_PARAMS                 |

| SEQUENCE_TABLE            |

| SERDES                    |

| SERDE_PARAMS              |

| SKEWED_COL_NAMES          |

| SKEWED_COL_VALUE_LOC_MAP  |

| SKEWED_STRING_LIST        |

| SKEWED_STRING_LIST_VALUES |

| SKEWED_VALUES             |

| SORT_COLS                 |

| TABLE_PARAMS              |

| TAB_COL_STATS             |

| TBLS                      |

| TBL_COL_PRIVS             |

| TBL_PRIVS                 |

+—————————+

36 rows in set (0.00 sec)

能够看到“DELETEME1370713792915”这个表，问题明确了，由于计算的压力过大，服务器停止响应，mysql也停止了响应，mysql进程被异常终止，在运行中的mysql表数据异常，hive的元数据表异常。

解决问题的办法有两个：

1. 直接在mysql中drop 异常提示中的table;
mysql>drop table DELETEME1370713761025;

2. 保守的做法，根据DELETEME*表的结构，创建不存在的表

CREATE TABLE `DELETEME1370713792915` (  `UNUSED` int(11) NOT NULL ) ENGINE=InnoDB DEFAULT CHARSET=latin1;

通过实践，第一个方法就能够解决问题，如果不行可以尝试第二个方法。

总结：hive、hadoop的上层异常原因可能很多情况导致，一定要找到真正的问题原因，不能急于尝试网上异常的解决办法。hive的元数据依赖关系型数据库，一定做好数据库的备份

又碰到一个hive的Exception，Caused by: org.apache.hadoop.hive.ql.parse.SemanticException: Unable to fetch table XXX，追溯更直接的原因，找到Caused by: java.sql.SQLException: Got error 28 from storage engine。

问题原因：服务器的根目录的/tmp中日志文件生成过多，磁盘空间满了。以SemanticException: Unable to fetch table关键字在google中搜索，发现结果很少，也没什么有价值的信息，搜索结果是这种情况，说明这个问题不常见，很可能是其他低级错误导致的问题。

mysql>drop table DELETEME1370713761025;

mysql>drop table DELETEME1370713761025;
CREATE TABLE `DELETEME1370713792915`
删除的表和创建的表为什么不是同一个呢？？

hive、hadoop的上层异常原因可能很多情况导致，一定要找到真正的问题原因，不能急于尝试网上异常的解决办法。hive的元数据依赖关系型数据库，一定做好数据库的备份。总结很好，谢谢分享