分享

hiveql解析sql后生成的mapreduce

zhuqitian 发表于 2016-11-6 16:30:40 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 7419
项目经理说集群性能已经达到瓶颈,要把hive作业转成mapreduce开发,没写过复杂的mapreduce,如果能找到hiveql解析sql后生成的mapreduce在那基础上做优化会简单很多,大家有谁研究过这一层吗?生成的jar目录

已有(2)人评论

跳转到指定楼层
arsenduan 发表于 2016-11-6 16:37:07
这个还是建议楼主不要偷懒。
hive生成的mapreduce一般都需要优化。最好自己写。
hivesql转换mapreduce其实就是代码生成器。
一般代码生成器我们不要依赖。
回复

使用道具 举报

zhuqitian 发表于 2016-11-6 21:48:11
arsenduan 发表于 2016-11-6 16:37
这个还是建议楼主不要偷懒。
hive生成的mapreduce一般都需要优化。最好自己写。
hivesql转换mapreduce其 ...

感觉还是比较复杂的,主要是窗口函数这种不好实现,那要是实在不行找不到生成的jar的话,还只能使点劲了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条