分享

solr 分片问题和稳定性请教,急求,谢谢?

cloudcat 2016-7-18 15:44:57 发表于 疑问解答 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 12871
生产环境中,我有两个集群,每个集群6台服务器,数据量大概1T左右

用solrcloud来建立索引,都是只有一个collection,姑且叫做collection1

外网集群A:collection1 有6个shard,每个shard只有一个core,相当于没有备份。总过6个core

内网集群B:collection1 有6个shard,每个shard有3个core,即每个shard有多余两个replica,总共18个core。


集群B访问量每天10万,集群A每天访问量1500万。集群A与集群B数据同步的,每天都有几万的数据增加,另外还有update和delete操作。

现在问题:
1 外网的solr集群A很稳定。内网solr集群B不稳定,solr总是黄色,昨天集群B solr还down掉了一个服务。集群A和集群B唯一的区别就是一个有备份,一个没备份(ps,集群A和集群B机器配置都是一样的)。
  是不是 shard有备份会增加集群压力? 是不是集群B每个服务器3个core导致压力?
  我的理想方法:由于为了高可用,必须做replica,对于6台服务器,我是不是应该做3个shard,每个shard两个core,这样每个服务器还是一个core,会变得和集群A一样稳定?

2  根据我的描述,我应该做几个shard,每个shard几个replica最合适?

已有(5)人评论

跳转到指定楼层
IT_雪夜归人 发表于 2016-7-18 17:22:49
内存多少?down掉的日志有报错没?
回复

使用道具 举报

IT_雪夜归人 发表于 2016-7-18 18:51:33
IT_雪夜归人 发表于 2016-7-18 17:22
内存多少?down掉的日志有报错没?

观察一下cpu、内存和solr进程的gc情况
回复

使用道具 举报

langke93 发表于 2016-7-18 19:09:53
根据楼主的描述,应该是集群B压力太大导致的
至于应该做几个shard,每个shard几个replica最合适?
这个可以根据楼主的集群情况,自己调试下。
回复

使用道具 举报

cloudcat 发表于 2016-7-19 17:43:41
本帖最后由 cloudcat 于 2016-7-19 17:45 编辑
IT_雪夜归人 发表于 2016-7-18 17:22
内存多少?down掉的日志有报错没?

您好,谢谢你的回答,集群A和集群B配置都是一样的,solr jvm都是10G,服务器 内存为64G。集群A是外网,访问量肯定大于集群B。由于我没在现场,也看不到down掉的日志。还有一个问题,如我说的,我12台服务器,6个shard,每个shard两个备份。这样一台服务器就做一个core,是不是查询效果最好?为了提高查询效率,生产环境中一个服务器一般存放几个core,是一个呢还是多个?
回复

使用道具 举报

cloudcat 发表于 2016-7-19 17:45:07
langke93 发表于 2016-7-18 19:09
根据楼主的描述,应该是集群B压力太大导致的
至于应该做几个shard,每个shard几个replica最合适?
这个可 ...

您好,谢谢你的回答,集群A和集群B配置都是一样的,solr jvm都是10G,服务器 内存为64G。集群A是外网,访问量肯定大于集群B。由于我没在现场,也看不到down掉的日志。还有一个问题,如我说的,我12台服务器,6个shard,每个shard两个备份。这样一台服务器就做一个core,是不是查询效果最好?为了提高查询效率,生产环境中一个服务器一般存放几个core,是一个呢还是多个?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条