预测hive所消耗资源

问题：千亿级的数据量扔到平台上 把hiveserver搞死

解决方式：在一个语句未执行前，预估出文件所消耗的资源数

but：
1. explain 出来的是文件大小 没太大意义（数据量大点最多就是作业跑的慢）
2.想从sql中抽取出分区属性 然后计算用到的文件个数，但是语句各种join、表分区也很复杂，几乎实现不了预定目标


问题来了：
        求大神推荐能满足此需求的已有解决方案 或者提供个别的思路 小弟已技穷  3q

你的配置是多少，搞死是否找到原因。

这个不好预估吧

langke93 发表于 2017-8-29 19:53
你的配置是多少，搞死是否找到原因。

很大方面是hiveserver被卡死了 所以想从hdfs的元数据方面下手