sunt99 发表于 2016-12-26 16:06 staging文件肯定是在hdfs上的 |
本帖最后由 nextuser 于 2016-12-26 20:04 编辑 sunt99 发表于 2016-12-26 16:06 把.staging-hive*文件产生的目录,配置到/tmp/staging/目录下 哪个目录产生了.staging-hive*文件,也可以用shell定时删除掉 |
nextuser 发表于 2016-12-26 14:25 你好,我就是按照你所说的配置的,可是在相应的目录下仍然有.hive-staging文件,而/tmp/hive/staging/.staging下为空,问一下/tmp/hive/staging/.staging是hdfs上的目录吧? |
本帖最后由 nextuser 于 2016-12-26 14:27 编辑 有两个办法 hive也会产生.staging_hive,但是hive产生后会被移除,而spark-sql不会移除,所以我们需要手动处理这种情况。 1.在hive-site.xml中添加如下属性,所有的.staging-hive*文件都产生到/tmp/staging/目录下了。在cm的hive配置中,这一部分的配置需要加在“hive-site.xml 的 Hive 客户端高级配置代码段(安全阀)”这一项中,因为这一部分的配置是生效在hive的客户端中,加在服务器端是没用的,不生效。.hive-staging只是产生文件的前缀,不是目录。 [mw_shl_code=xml,true]<property> <name>hive.exec.stagingdir</name> <value>/tmp/staging/.hive-staging</value> </property>[/mw_shl_code] 2.写shell脚本,定时去/tmp/hive/staging/.staging目录下清除文件,注意,清除文件一定要清除昨天的,今天产生的有可能正好在用,如果被移除了,则会报错,调试的时候碰到过这种情况。 来自cjun1990 |