分享

hive中间压缩参数设置

set hive.intermediate.compression.codec;
set hive.intermediate.compression.type;
这两个参数在hive编程指南书中有找到,但是进入hive命令行找不到
hive> set hive.intermediate.compression.codec;
hive.intermediate.compression.codec is undefined


已有(4)人评论

跳转到指定楼层
desehawk 发表于 2017-2-8 16:30:37
尝试执行下面命令[mw_shl_code=bash,true]set hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;[/mw_shl_code]

回复

使用道具 举报

ledasion 发表于 2017-2-10 16:53:41
采用 Snappy 对中间结果进行压缩
set hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;
回复

使用道具 举报

zhuqitian 发表于 2017-2-10 17:38:49
ledasion 发表于 2017-2-10 16:53
采用 Snappy 对中间结果进行压缩
set hive.intermediate.compression.codec=org.apache.hadoop.io.compres ...

嗯,目前就用的snappy
回复

使用道具 举报

zhuqitian 发表于 2017-2-10 17:40:50
desehawk 发表于 2017-2-8 16:30
尝试执行下面命令[mw_shl_code=bash,true]set hive.intermediate.compression.codec=org.apache.hadoop.io. ...

这个是ok的,就是直接set不赋值的话没有返回值,比如其他参数会有默认值,这个我猜测是因为必须要赋值的,而中间压缩默认为false,就弹出来未定义了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条