分享

hive集群--一直想问了

aurae 发表于 2015-9-15 15:40:53 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 16520
一直想问这个问题,hive使用mysql作为metastore,作为一个hive集群,到底需要在几台机器上部署hive?看了好多部署的帖子,发现都是在一台主机上部署了一个hive,然后连了mysql后就没了,这个是真的吗?
如果不是,集群怎么部署?
求牛人解惑~

已有(5)人评论

跳转到指定楼层
NEOGX 发表于 2015-9-15 15:55:52
看你的数据量,一般元数据没有那么多,小公司,数据量不大,然后配置在高一些,一台足够了。



回复

使用道具 举报

aurae 发表于 2015-9-15 16:12:03
回复

使用道具 举报

NEOGX 发表于 2015-9-15 16:53:07
aurae 发表于 2015-9-15 16:12
感谢回复。
数据量大概10亿条,应该算是中等量级吧
另外,这个集群,1台不算吧。多台的话,是使用配置 ...

元数据一台就可以,hive这个一般是多台的。
回复

使用道具 举报

Riordon 发表于 2015-9-16 08:56:58
楼主可能想问的事Hive的高可用怎么实现吧? Hive比如调用MR,已经实现了分布式,启动多个Hive只是为了高可用,负载均衡,推荐使用Haproxy+Hive。比如启动2个Haproxy+3个Hive,一个Hive死掉,另外的可以继续完成工作。
回复

使用道具 举报

aurae 发表于 2015-9-17 09:27:33
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条