Linux系列之solr集群版环境搭建
Posted 梦Dreamer
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Linux系列之solr集群版环境搭建相关的知识,希望对你有一定的参考价值。
SolrCloud简介
SolrCloud是solr提供的分布式搜索方案,当需要大规模容错、分布式索引和检索能力时使用。当一个系统的索引数量少时,不需要使用SolrCloud;当索引量很大,搜索请求并发很高时,需要使用SolrCloud。
SolrCloud是基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zookeeper作为集群的配置信息中心。
它有几个特色功能:
1) 集中式的配置信息
2) 自动容错
3) 近实时搜索
4) 查询时自动负载均衡
Zookeeper简介
顾名思义zookeeper就是动物园管理员,他是用来管理hadoop(大象)、Hive(蜜蜂)、pig(小猪)的管理员,Apache Hbase和Apache Solr的分布式集群都用到了zookeeper。Zookeeper是一个分布式的、开源的程序协调服务,是hadoop项目下的一个子项目。
zookeeper:集群管理工具,集群入口。
- 集群管理
主从的管理、负载均衡、高可用的管理。集群的入口。Zookeeper必须是集群才能保证高可用。Zookeeper有选举和投票的机制。集群中至少应该有三个节点。
- 配置文件的集中管理
搭建solr集群时,需要把Solr的配置文件上传zookeeper,让zookeeper统一管理。每个节点都到zookeeper上取配置文件。
- 分布式锁
SolrCloud结构
SolrCloud为了降低单击的处理压力,需要由多态服务器共同来完成索引的搜索任务。实现的思路是将索引数据进行Shard(分片)拆分,每个分片由多态服务器共同完成,当一个索引或搜索请求过来时,会分别从不同的shard的服务器中操作索引。
SolrCloud需要Solr基于Zookeeper部署,Zookeeper是一个集群管理软件,由于SolrCloud需要由多台服务器组成,由zookeeper来进行协调管理。
搭建步骤
Zookeeper集群搭建
第一步:需要把zookeeper-3.4.6.tar.gz的安装包上传到服务器。
第二步:把zookeeper解压:tar –zxvfzookeeper-3.4.6.tar.gz
第三步:把zookeeper向/usr/local/solr-cloud目录下复制三份。
第三步:配置zookeeper。
1.在zookeeper01目录下创建一个data文件夹。
2.在data目录下创建一个myid的文件
3.myid的内容为1(02对应“2”,03对应“3”)
在data文件夹下建立一个myid文件,并在myid文件中,写入内容1
4.zookeeper02、03以此类推。
5.进入conf文件,把zoo_sample.cfg文件改名为zoo.cfg;或者复制zoo_sample.cfg一份,并命名为zoo.cfg
6.修改zoo.cfg,把dataDir=属性指定为刚创建的data文件夹。
(本demo路径:/usr/local/solr-cloud/zookeeper01/data/)
7.修改zoo.cfg,把clientPort指定为不冲突的端口号(01:2181、02:2182、03:2183)
(2181:这个端口是客户端连接端口
8.在zoo.cfg中添加如下内容:
server.1=192.168.33.10:2881:3881
server.2=192.168.33.10:2882:3882
server.3=192.168.33.10:2883:3883
(这个端口是服务器连接端口,不能重复)
第四步:启动zookeeper。
Zookeeper的目录下有一个bin目录。使用zkServer.sh启动zookeeper服务。
启动命令:./zkServer.sh start
另一种启动zookeeper的方式:./zkServer.sh start-foreground //这种启动方式,能够查看zookeeper的日志
关闭命令:./zkServer.sh stop
查看服务状态:./zkServer.sh status
Solr集群搭建
第一步:安装四个tomcat,修改其端口号不能冲突。8080~8083
端口号分别修改为:8005-8006-8007-8008
8080-8081-8082-8083
8009-8010-8011-8012
第二步:向tomcat下部署solr。把单机版的solr工程复制到tomcat下即可。
(将单机版的solr/tomcat/webapps下的solr复制到solr-cloud/tomcat01/webapps/下面)
第三步:为每个solr实例创建一solrhome。
将单机版的solr/下的solrhome复制到solr-cloud/目录下,分别命名为solrhome01-solrhome04
第四步:为每个solr实例关联对应的solrhome。修改web.xml(为tomcat关联solrhome)
修改solr-cloud/tomcat01/webapps/solr/WEB-INF/web.xml文件
第五步:修改每个solrhome下的solr.xml文件。修改host、hostPort两个属性。分别是对应的ip及端口号。
host:当前实例运行的ip地址
port:当前实例运行的端口号,是当前tomcat的端口号
第六步:把配置文件上传到zookeeper。需要使用
/root/solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh命令上传配置文件。
把/usr/local/solr-cloud/solrhome01/collection1/conf目录上传到zookeeper。
需要zookeeper集群已经启动。
(上传任意一个)
./zkcli.sh -zkhost 192.168.33.10:2181,192.168.33.10:2182,192.168.33.10:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome01/collection1/conf -confname myconf |
第七步:查看是否上传成功。
使用zookeeper的zkcli.sh命令。
zkcli.sh存在位置:/usr/local/solr-cloud/zookeeper01/bin
(注:zookeeper只要连接上任意节点,就行了)
第八步:告诉solr实例zookeeper的位置。需要修改tomcat的catalina.sh添加 (tomcat/bin/catalina.sh)
JAVA_OPTS="-DzkHost=192.168.33.10:2181,192.168.33.10:2182,192.168.33.10:2183"
在使用JAVA_OPTS之前添加这句话:
每个节点都需要添加。
第九步:启动每个solr实例。
使用脚本,启动所有solr实例
vi start-all.sh
查看启动日志 :tail -f tomcat01/logs/catalina.out
查看solrCloud搭建是否成功,使用浏览器查看solr,点击Cloud可以看到solr集群
第十步:集群分片。
将集群分为两片,每片两个副本。(numShards:分成两片;replicationFactor:两个副本)
在浏览器中运行下面的链接:
http://192.168.33.10:8080/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2
看到success,就说明成功了。
拆分结果:
第十一步:删除不用collection1
在浏览器中打开下面的链接:
http://192.168.33.10:8080/solr/admin/collections?action=DELETE&name=collection1
看到success,就说明成功了。
删除之后的效果:
问题解决
问题一:查看zookeeper服务状态时,报错:Error contacting service. It is probably not running.
启动没有问题,但是查看solr集群状态时,总是报错。solr明明显示已经起来了,但是查看solr状态时,却提示没有启动:
原因:因为zookeeper集群,配置的数量若为3,则至少启动两个才能正常使用,所以,当你启动了两个zookeeper之后,再回来查看刚刚的zookeeper状态,发现已经启动了。
解决办法:启动的zookeeper数目一定要是配置zookeeper数目的一半以上,zookeeper才能正常启动。
问题二:用日志方式启动zookeeper时,报错:
Unexpected exception, exiting abnormally
java.net.BindException: Address already in use
原因:端口被占用
解决方法:1、如果使用ps aux|grep 2181,查看不到端口被占用。
2、使用lsof -i:2181命令查看端口占用情况
3、若执行lsof -i:2181命令提示:-bash: lsof: command not found
4、执行yum install lsof命令
5、再查看端口占用情况,停调被占用的端口,即可。
问题三:启动solr集群后,浏览器打开solr链接,报错:
原因:正如问题一一样,显示zookeeper已经启动成功了,但实际,没有真正启动成功。
解决办法:重新启动
以上是关于Linux系列之solr集群版环境搭建的主要内容,如果未能解决你的问题,请参考以下文章