分享

不良 : Hive Metastore canary 创建数据库失败

CCDK 2017-7-28 08:57:31 发表于 疑问解答 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 9 46792
安装完CDH后,启动了所有服务,然后就一直报这个错误,百度google查了很多,在centos7和6.5上都重装了,还是一样错误。请教怎么解决的啊?

已有(9)人评论

跳转到指定楼层
CCDK 发表于 2017-7-28 09:00:25
本帖最后由 CCDK 于 2017-7-28 09:01 编辑

7月 28, 早上8点47:56.638INFOorg.apache.hadoop.hive.metastore.HiveMetaStore[main]: Starting hive metastore on port 90837月 28, 早上8点47:56.970INFOorg.apache.hadoop.hive.metastore.HiveMetaStore[main]: 0: Opening raw store with implemenation class:org.apache.hadoop.hive.metastore.ObjectStore
7月 28, 早上8点47:57.108INFOorg.apache.hadoop.hive.metastore.ObjectStore[main]: ObjectStore, initialize called
7月 28, 早上8点47:57.435INFODataNucleus.Persistence[main]: Property hive.metastore.integral.jdo.pushdown unknown - will be ignored
7月 28, 早上8点47:57.435INFODataNucleus.Persistence[main]: Property datanucleus.cache.level2 unknown - will be ignored
7月 28, 早上8点47:57.998INFOorg.apache.hadoop.hive.metastore.ObjectStore[main]: Setting MetaStore object pin classes with hive.metastore.cache.pinobjtypes="Table,StorageDescriptor,SerDeInfo,Partition,Database,Type,FieldSchema,Order"
7月 28, 早上8点47:58.038INFOorg.apache.hadoop.hive.metastore.ObjectStore[main]: Initialized ObjectStore
7月 28, 早上8点47:58.655WARNDataNucleus.Query[main]: Query for candidates of org.apache.hadoop.hive.metastore.model.MVersionTable and subclasses resulted in no possible candidatesRequired table missing : ""VERSION"" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either your MetaData is incorrect, or you need to enable "datanucleus.autoCreateTables"org.datanucleus.store.rdbms.exceptions.MissingTableException: Required table missing : ""VERSION"" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either your MetaData is incorrect, or you need to enable "datanucleus.autoCreateTables"        at org.datanucleus.store.rdbms.table.AbstractTable.exists(AbstractTable.java:485)        at org.datanucleus.store.rdbms.RDBMSStoreManager$ClassAdder.performTablesValidation(RDBMSStoreManager.java:3380)        at org.datanucleus.store.rdbms.RDBMSStoreManager$ClassAdder.addClassTablesAndValidate(RDBMSStoreManager.java:3190)        at org.datanucleus.store.rdbms.RDBMSStoreManager$ClassAdder.run(RDBMSStoreManager.java:2841)        at org.datanucleus.store.rdbms.AbstractSchemaTransaction.execute(AbstractSchemaTransaction.java:122)        at org.datanucleus.store.rdbms.RDBMSStoreManager.addClasses(RDBMSStoreManager.java:1605)        at org.datanucleus.store.AbstractStoreManager.addClass(AbstractStoreManager.java:954)        at org.datanucleus.store.rdbms.RDBMSStoreManager.getDatastoreClass(RDBMSStoreManager.java:679)        at org.datanucleus.store.rdbms.query.RDBMSQueryUtils.getStatementForCandidates(RDBMSQueryUtils.java:408)        at org.datanucleus.store.rdbms.query.JDOQLQuery.compileQueryFull(JDOQLQuery.java:947)        at org.datanucleus.store.rdbms.query.JDOQLQuery.compileInternal(JDOQLQuery.java:370)        at org.datanucleus.store.query.Query.executeQuery(Query.java:1744)        at org.datanucleus.store.query.Query.executeWithArray(Query.java:1672)        at org.datanucleus.store.query.Query.execute(Query.java:1654)        at org.datanucleus.api.jdo.JDOQuery.execute(JDOQuery.java:221)        at org.apache.hadoop.hive.metastore.ObjectStore.getMSchemaVersion(ObjectStore.java:7213)        at org.apache.hadoop.hive.metastore.ObjectStore.getMetaStoreSchemaVersion(ObjectStore.java:7197)        at org.apache.hadoop.hive.metastore.ObjectStore.checkSchema(ObjectStore.java:7155)        at org.apache.hadoop.hive.metastore.ObjectStore.verifySchema(ObjectStore.java:7139)        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)        at java.lang.reflect.Method.invoke(Method.java:606)        at org.apache.hadoop.hive.metastore.RawStoreProxy.invoke(RawStoreProxy.java:114)        at com.sun.proxy.$Proxy5.verifySchema(Unknown Source)        at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS(HiveMetaStore.java:624)        at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:672)        at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:481)        at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:78)        at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:84)        at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:5962)        at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:5957)        at org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:6209)        at org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:6134)        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)        at java.lang.reflect.Method.invoke(Method.java:606)        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)7月 28, 早上8点47:58.659ERRORorg.apache.hadoop.hive.metastore.HiveMetaStore[main]: MetaException(message:Version information not found in metastore. )        at org.apache.hadoop.hive.metastore.ObjectStore.checkSchema(ObjectStore.java:7158)        at org.apache.hadoop.hive.metastore.ObjectStore.verifySchema(ObjectStore.java:7139)        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)        at java.lang.reflect.Method.invoke(Method.java:606)        at org.apache.hadoop.hive.metastore.RawStoreProxy.invoke(RawStoreProxy.java:114)        at com.sun.proxy.$Proxy5.verifySchema(Unknown Source)        at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS(HiveMetaStore.java:624)        at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:672)        at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:481)        at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:78)        at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:84)        at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:5962)        at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:5957)        at org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:6209)        at org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:6134)        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)        at java.lang.reflect.Method.invoke(Method.java:606)        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
7月 28, 早上8点47:58.659ERRORorg.apache.hadoop.hive.metastore.HiveMetaStore[main]: Metastore Thrift Server threw an exception...MetaException(message:Version information not found in metastore. )        at org.apache.hadoop.hive.metastore.ObjectStore.checkSchema(ObjectStore.java:7158)        at org.apache.hadoop.hive.metastore.ObjectStore.verifySchema(ObjectStore.java:7139)        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)        at java.lang.reflect.Method.invoke(Method.java:606)        at org.apache.hadoop.hive.metastore.RawStoreProxy.invoke(RawStoreProxy.java:114)        at com.sun.proxy.$Proxy5.verifySchema(Unknown Source)        at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS(HiveMetaStore.java:624)        at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:672)        at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:481)        at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:78)        at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:84)        at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:5962)        at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:5957)        at org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:6209)        at org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:6134)        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)        at java.lang.reflect.Method.invoke(Method.java:606)        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

回复

使用道具 举报

hyj 发表于 2017-7-28 11:11:07
hive是使用的mysql吗。元数据库可能出问题了
回复

使用道具 举报

CCDK 发表于 2017-7-28 11:13:31
hyj 发表于 2017-7-28 11:11
hive是使用的mysql吗。元数据库可能出问题了

hive用的pgsql。是不是我创建数据这一步出错了啊?创建元数据有教程吗?想参考下。
回复

使用道具 举报

langke93 发表于 2017-7-28 12:47:03
CCDK 发表于 2017-7-28 11:13
hive用的pgsql。是不是我创建数据这一步出错了啊?创建元数据有教程吗?想参考下。

先检测下pgsql是否可以正常使用。先登录下,然后尝试命令
psql -U dbuser -d exampledb -h 127.0.0.1 -p 密码



回复

使用道具 举报

CCDK 发表于 2017-7-28 13:46:15
langke93 发表于 2017-7-28 12:47
先检测下pgsql是否可以正常使用。先登录下,然后尝试命令
psql -U dbuser -d exampledb -h 127.0.0.1 -p ...

pgsql数据库是没有问题的,都能正常使用。而且我昨天整个下午hive 都正常,但是正常使用的概率极小,大约启动了十几次,只有这一次是正常使用的。今天回公司一看,又出现不良 : Hive Metastore canary 创建数据库失败这个错误了。
回复

使用道具 举报

nextuser 发表于 2017-7-28 14:30:21
CCDK 发表于 2017-7-28 13:46
pgsql数据库是没有问题的,都能正常使用。而且我昨天整个下午hive 都正常,但是正常使用的概率极小,大约 ...

尝试下面修改 <property>
        <name>datanucleus.fixedDatastore</name>
        <value>false</value>
    </property>

   <property>
        <name>datanucleus.autoCreateSchema</name>
        <value>true</value>
    </property>
    <property>
        <name>datanucleus.autoCreateTables</name>
        <value>true</value>
    </property>
    <property>
        <name>datanucleus.autoCreateColumns</name>
        <value>true</value>
    </property>


或则通过shell设置
datanucleus.fixedDatastore
false
datanucleus.autoCreateSchema
true
datanucleus.autoCreateTables
true
datanucleus.autoCreateColumns
true


回复

使用道具 举报

CCDK 发表于 2017-7-28 14:32:37
nextuser 发表于 2017-7-28 14:30
尝试下面修改  
        datanucleus.fixedDatastore
        false

最后两项都找不到啊
回复

使用道具 举报

langke93 发表于 2017-7-28 14:37:36
CCDK 发表于 2017-7-28 14:32
最后两项都找不到啊

"datanucleus.autoCreateTables"org.datanucleus.store.rdbms.exceptions.MissingTableException: Required table missing : ""VERSION"" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either your MetaData is incorrect, or you need to enable "datanucleus.autoCreateTables"        at
回复

使用道具 举报

CCDK 发表于 2017-7-28 15:09:41
langke93 发表于 2017-7-28 14:37
"datanucleus.autoCreateTables"org.datanucleus.store.rdbms.exceptions.MissingTableException: Requir ...

莫名其妙解决了。。。还是不知道原因。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条