分享

spark sql性能问题

louiscool2 发表于 2015-11-17 11:02:02 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 11446
有使用过sparksql 的吗?感觉性能如何
我做了个测试spark sql很慢呀,impala和presto都是几秒出来,sparksql需要几十秒。


已有(4)人评论

跳转到指定楼层
arsenduan 发表于 2015-11-17 11:56:05
相对来讲 impala更快一些

这是英文版比较
https://amplab.cs.berkeley.edu/benchmark/
回复

使用道具 举报

mituan2008 发表于 2015-11-17 21:42:25


你们两个问题差不多
求Streaming查询hbase的方法
http://www.aboutyun.com/thread-16046-1-1.html




回复

使用道具 举报

louiscool2 发表于 2015-11-23 09:57:50
问题已解决。谢谢大家的回复,后来快了很多,但相比impala,presto还是要慢不少,我用的是spark on yarn,原来spark sql起的executor默认是1所以很慢。
回复

使用道具 举报

Fortitude 发表于 2015-11-24 11:57:49
楼主你好,请问你是怎么解决查询慢的问题的?你做过spark on yarn和standalone的查询对比吗?至于你说的executor默认为1好像是instance默认为1,但是我发现我把这个值改大后并行的tasks是多了,但每个task的执行时间变长了,总体执行时间差不多。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条