Hive开并行就报空指针的错误，如何解决

我的源表存储格式：
InputFormat:            com.hadoop.mapred.DeprecatedLzoTextInputFormat     
OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
当并行开到3个的时候就报错，开两个或者不开的时候是没有问题的。


何解？？

增大下内存或则cpu，可能资源不够造成的

nextuser 发表于 2018-2-27 13:46
增大下内存或则cpu，可能资源不够造成的

多谢提点，我默认的设置是map 8G，reduce 8G。我都改成4G之后可以开三个并行。但是又碰到一个比较奇怪的问题，前面三个job跑完了没有问题，后面又跑三个的时候就停在初始化阶段。

后面的log再也没有打出来了，挂了好久了。

mvs2008 发表于 2018-2-28 09:46
多谢提点，我默认的设置是map 8G，reduce 8G。我都改成4G之后可以开三个并行。但是又碰到一个比较奇怪的 ...

看下资源是否释放了。

nextuser 发表于 2018-2-28 10:30
看下资源是否释放了。

如何查看资源是否释放呢？

mvs2008 发表于 2018-2-28 14:11
如何查看资源是否释放呢？

看下cpu，内存的使用率。运行的时候肯定升高。如果运行完毕，还是不变，说明资源没有释放。

nextuser 发表于 2018-2-28 14:19
看下cpu，内存的使用率。运行的时候肯定升高。如果运行完毕，还是不变，说明资源没有释放。

查看了资源情况，确实有相关的java进程一直占据着资源。这个怎么破？

mvs2008 发表于 2018-2-28 19:24
查看了资源情况，确实有相关的java进程一直占据着资源。这个怎么破？

如果已经执行完两点话，可以kill掉进程释放