Linux系列之solr集群版环境搭建
Posted 梦Dreamer
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Linux系列之solr集群版环境搭建相关的知识，希望对你有一定的参考价值。
SolrCloud简介
SolrCloud是solr提供的分布式搜索方案，当需要大规模容错、分布式索引和检索能力时使用。当一个系统的索引数量少时，不需要使用SolrCloud；当索引量很大，搜索请求并发很高时，需要使用SolrCloud。
SolrCloud是基于Solr和Zookeeper的分布式搜索方案，它的主要思想是使用Zookeeper作为集群的配置信息中心。
它有几个特色功能：
1） 集中式的配置信息
2） 自动容错
3） 近实时搜索
4） 查询时自动负载均衡
Zookeeper简介
顾名思义zookeeper就是动物园管理员，他是用来管理hadoop（大象）、Hive（蜜蜂）、pig（小猪）的管理员，Apache Hbase和Apache Solr的分布式集群都用到了zookeeper。Zookeeper是一个分布式的、开源的程序协调服务，是hadoop项目下的一个子项目。
zookeeper：集群管理工具，集群入口。
- 集群管理
主从的管理、负载均衡、高可用的管理。集群的入口。Zookeeper必须是集群才能保证高可用。Zookeeper有选举和投票的机制。集群中至少应该有三个节点。
- 配置文件的集中管理
搭建solr集群时，需要把Solr的配置文件上传zookeeper，让zookeeper统一管理。每个节点都到zookeeper上取配置文件。
- 分布式锁
SolrCloud结构
SolrCloud为了降低单击的处理压力，需要由多态服务器共同来完成索引的搜索任务。实现的思路是将索引数据进行Shard（分片）拆分，每个分片由多态服务器共同完成，当一个索引或搜索请求过来时，会分别从不同的shard的服务器中操作索引。
SolrCloud需要Solr基于Zookeeper部署，Zookeeper是一个集群管理软件，由于SolrCloud需要由多台服务器组成，由zookeeper来进行协调管理。
搭建步骤
Zookeeper集群搭建
第一步：需要把zookeeper-3.4.6.tar.gz的安装包上传到服务器。
第二步：把zookeeper解压：tar –zxvfzookeeper-3.4.6.tar.gz
第三步：把zookeeper向/usr/local/solr-cloud目录下复制三份。
第三步：配置zookeeper。
1.在zookeeper01目录下创建一个data文件夹。
2.在data目录下创建一个myid的文件
3.myid的内容为1（02对应“2”，03对应“3”）
在data文件夹下建立一个myid文件，并在myid文件中，写入内容1
4.zookeeper02、03以此类推。
5.进入conf文件，把zoo_sample.cfg文件改名为zoo.cfg；或者复制zoo_sample.cfg一份，并命名为zoo.cfg
6.修改zoo.cfg，把dataDir=属性指定为刚创建的data文件夹。
（本demo路径：/usr/local/solr-cloud/zookeeper01/data/）
7.修改zoo.cfg，把clientPort指定为不冲突的端口号（01:2181、02:2182、03:2183）
（2181：这个端口是客户端连接端口
8.在zoo.cfg中添加如下内容：
server.1=192.168.33.10:2881:3881
server.2=192.168.33.10:2882:3882
server.3=192.168.33.10:2883:3883
（这个端口是服务器连接端口，不能重复）
第四步：启动zookeeper。
Zookeeper的目录下有一个bin目录。使用zkServer.sh启动zookeeper服务。
启动命令：./zkServer.sh start
另一种启动zookeeper的方式：./zkServer.sh start-foreground //这种启动方式，能够查看zookeeper的日志
关闭命令：./zkServer.sh stop
查看服务状态：./zkServer.sh status
Solr集群搭建
第一步：安装四个tomcat，修改其端口号不能冲突。8080~8083
端口号分别修改为：8005-8006-8007-8008
8080-8081-8082-8083
8009-8010-8011-8012
第二步：向tomcat下部署solr。把单机版的solr工程复制到tomcat下即可。
（将单机版的solr/tomcat/webapps下的solr复制到solr-cloud/tomcat01/webapps/下面）
第三步：为每个solr实例创建一solrhome。
将单机版的solr/下的solrhome复制到solr-cloud/目录下,分别命名为solrhome01-solrhome04
第四步：为每个solr实例关联对应的solrhome。修改web.xml（为tomcat关联solrhome）
修改solr-cloud/tomcat01/webapps/solr/WEB-INF/web.xml文件
第五步：修改每个solrhome下的solr.xml文件。修改host、hostPort两个属性。分别是对应的ip及端口号。
host：当前实例运行的ip地址
port：当前实例运行的端口号，是当前tomcat的端口号
第六步：把配置文件上传到zookeeper。需要使用
/root/solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh命令上传配置文件。
把/usr/local/solr-cloud/solrhome01/collection1/conf目录上传到zookeeper。
需要zookeeper集群已经启动。
（上传任意一个）
| ./zkcli.sh -zkhost 192.168.33.10:2181,192.168.33.10:2182,192.168.33.10:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome01/collection1/conf -confname myconf |
第七步：查看是否上传成功。
使用zookeeper的zkcli.sh命令。
zkcli.sh存在位置：/usr/local/solr-cloud/zookeeper01/bin
（注：zookeeper只要连接上任意节点，就行了）
第八步：告诉solr实例zookeeper的位置。需要修改tomcat的catalina.sh添加 (tomcat/bin/catalina.sh)
JAVA_OPTS="-DzkHost=192.168.33.10:2181,192.168.33.10:2182,192.168.33.10:2183"
在使用JAVA_OPTS之前添加这句话：
每个节点都需要添加。
第九步：启动每个solr实例。
使用脚本，启动所有solr实例
vi start-all.sh
查看启动日志 ：tail -f tomcat01/logs/catalina.out
查看solrCloud搭建是否成功，使用浏览器查看solr，点击Cloud可以看到solr集群
第十步：集群分片。
将集群分为两片，每片两个副本。（numShards：分成两片；replicationFactor：两个副本）
在浏览器中运行下面的链接：
http://192.168.33.10:8080/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2
看到success，就说明成功了。
拆分结果：
第十一步：删除不用collection1
在浏览器中打开下面的链接：
http://192.168.33.10:8080/solr/admin/collections?action=DELETE&name=collection1
看到success，就说明成功了。
删除之后的效果：
问题解决
问题一：查看zookeeper服务状态时，报错：Error contacting service. It is probably not running.
启动没有问题，但是查看solr集群状态时，总是报错。solr明明显示已经起来了，但是查看solr状态时，却提示没有启动：
原因：因为zookeeper集群，配置的数量若为3，则至少启动两个才能正常使用，所以，当你启动了两个zookeeper之后，再回来查看刚刚的zookeeper状态，发现已经启动了。
解决办法：启动的zookeeper数目一定要是配置zookeeper数目的一半以上，zookeeper才能正常启动。
问题二：用日志方式启动zookeeper时，报错：
Unexpected exception, exiting abnormally
java.net.BindException: Address already in use
原因：端口被占用
解决方法：1、如果使用ps aux|grep 2181，查看不到端口被占用。
2、使用lsof -i:2181命令查看端口占用情况
3、若执行lsof -i:2181命令提示：-bash: lsof: command not found
4、执行yum install lsof命令
5、再查看端口占用情况，停调被占用的端口，即可。
问题三：启动solr集群后，浏览器打开solr链接，报错：
原因：正如问题一一样，显示zookeeper已经启动成功了，但实际，没有真正启动成功。
解决办法：重新启动
以上是关于Linux系列之solr集群版环境搭建的主要内容，如果未能解决你的问题，请参考以下文章