about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 2231|回复: 3

[异常错误] Spark报错:“WARN ObjectStore:568 - Failed to get database global_temp“

[复制链接]

3

主题

3

听众

0

收听

注册会员

Rank: 2

积分
198
发表于 2018-9-13 14:43:08 | 显示全部楼层 |阅读模式
我已经配置好Spark2.3.1 使用hive1.2.2元数据,但是运行spark-shell时,经常会出现一个WARN。具体情况如下:==============Hive里面有个test表
hive> show tables;
OK
test
Time taken: 0.948 seconds, Fetched: 1 row(s)


==============Spark里面我尝试读取这个表
scala> sql("show tables").show
2018-09-13 14:39:43 WARN  ObjectStore:568 - Failed to get database global_temp, returning NoSuchObjectException
+--------+---------+-----------+
|database|tableName|isTemporary|
+--------+---------+-----------+
| default|     test|      false|
+--------+---------+-----------+


===========================
请问各位,WARN  ObjectStore:568 - Failed to get database global_temp, returning NoSuchObjectException
这条警告的来源是什么,如何消除它

141

主题

41

听众

39

收听

版主

Rank: 7Rank: 7Rank: 7

积分
2171
发表于 2018-9-13 18:08:56 | 显示全部楼层
本帖最后由 阿飞 于 2018-9-13 18:12 编辑

这是个全局临时表,楼主可以创建一个。由于没用到,所以不会有什么影响。看下
Global Temporary View

上面使用的是一个在Session生命周期中的临时views在Spark SQL中。如果你想拥有一个临时的view不过可以在不同的Session中共享,而且在application的运行周期内可用,那么就需要创建一个全局的临时view。并记得使用的时候加上global_temp作为前缀,因为全局的临时view是绑定到系统保留的数据库global_temp上。

// Register the DataFrame as a global temporary viewdf.createGlobalTempView("people");

// Global temporary view is tied to a system preserved database 注意people前面的global_temp

global_temp`spark.sql("SELECT * FROM global_temp.people").show();

// Global temporary view is cross-session

spark.newSession().sql("SELECT * FROM global_temp.people").show();

作者:shohokuooo
链接:https://www.jianshu.com/p/493237b42faf


3

主题

3

听众

0

收听

注册会员

Rank: 2

积分
198
 楼主| 发表于 2018-9-14 14:55:36 | 显示全部楼层
阿飞 发表于 2018-9-13 18:08
这是个全局临时表,楼主可以创建一个。由于没用到,所以不会有什么影响。看下

谢谢~~~~~~~~~~~
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /3 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2018-12-19 01:17 , Processed in 5.233701 second(s), 31 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表