solr集群分片

Posted 2023-03-22

参考技术A https://www.cnblogs.com/guozk/p/3498844.html

删除存在的分片命令：

http://xx.xx.xx.0:85/solr/admin/collections?action=DELETE&name= collection1

分片命令： 创建新的分片

http://xx.xx.xx.0:85/solr/admin/collections?action=CREATE&name= collection3 &numShards= 5 &replicationFactor=1

numShards：总的分片数

replicationFactor：指定每个分片的实例个数

当前云的总collection的实例是5，那么如果做2片，但是又要求每个分片的实例相同，

那么就会有一个实例空出来。

当然，空出来的实例可以单独的连接使用。

solr 集群

前言

　　随着用户的增多，空间和并发量越来越多，会导致一台solr服务器干不过了。这时候，就需要将solr集群以下。

集群架构　　　

　

由多台服务器共同完成索引和搜索任务 

实现的思路是将索引数据进行shard(分片) 拆分，每个分片由多台的服务器共同完成。

当一个索引或搜索请求过来时会分别从不同的shard的服务器中操作索引。 

solrCloud需要 solr基于zookeeper部署，zookeeper是一个集群管理软件，solrCloud需要由多台服务器组成。由zookeeper来进行协调管理 ,多个分片相加起来才是一个完成的索引库  

 

 

zookeeper的集群：

　 见　zookeeper集群

Solr集群搭建

一. 拷贝tomcat和solrhome

新建文件夹 solr-cloud。将之前solr单机版中的tomcat，solrhome拷贝到solr-cloud文件夹中。

 

二. tomcat修改

1.端口修改

在solr-cloud文件夹中， 执行以下命令：

vim ./tomcat1/conf/server.xml 

查询并修改其中的三个port：

1).

 2).

3).

其他的tomcat分别修改port的第二个数值为相应数值即可,

如：8280/8209/8205，8380/8309/8305，8480/8409/8405。

2. web.xml 修改

分别修改 webapps/solr/WEB-INF/web.xml文件 - 将solrhome和solr关联起来

<env-entry>
       <env-entry-name>solr/home</env-entry-name>
       <env-entry-value>/usr/java/solr-cloud/solrhome1</env-entry-value>
       <env-entry-type>java.lang.String</env-entry-type>
</env-entry>

tomcat2 -> /usr/java/solr-cloud/solrhome2

tomcat3 -> /usr/java/solr-cloud/solrhome3

tomcat4 -> /usr/java/solr-cloud/solrhome4

3. catalina.sh修改

通过修改这里的JAVA_OPTS将tomcat和zookeeper关联起来。

分别修改tomcat/bin/catalina.sh文件

加入：

JAVA_OPTS="-DzkHost=192.168.0.102:2181,192.168.0.102:2182,192.168.0.102:2183"

 

三. solrhome修改

1. solrhome1下面的solr.xml文件修改

host为对应tomcat1部署的电脑ip，hostport为tomcat1修改后的端口号。

solrhome2(192.168.0.102, 8280)

solrhome3(192.168.0.102, 8380)

solrhome4(192.168.0.102, 8480)

 

2. 上传solrhome/core1/conf目录

将conf目录上传到zookeeper中，由zookeeper统一管理配置文件。只需要上传任意一个solrhome中的配置就可以了。

切换到之前solr解压的目录中：/usr/java/solr/solr-6.6.2/server/scripts/cloud-scripts

执行以下命令：

./zkcli.sh -zkhost 192.168.0.102:2181,192.168.0.102:2182,192.168.0.102:2183 -cmd upconfig -confdir /usr/java/solr-cloud/solrhome1/core1/conf -confname myconf

执行完此命令后，可以进入zookeeper目录中验证一下是否成功。

在zookeeper1/bin目录下执行 ./zkCli.sh 命令查看zookeeper上的配置文件信息

 

四. 启动tomcat

新建一个文件，来一键启动tomcat。

vim start-tomcat.sh

修改文件权限

chmod u+x start-tomcat.sh

然后执行 ./start-tomcat.sh 命令。

从这里并不能直观看到是否真的起来了。可以通过查看日志的方式，或者通过访问的方式。

tail -f /usr/java/solr-cloud/tomcat1/logs/catalina.out

OK, 到这里，终于能看到页面了。在浏览器中打开：http://localhost:8180/solr/index.html#/

菜单上多出来了一个cloud目录。

 

五.分片

http://127.0.0.1:8180/solr/admin/collections?action=CREATE&name=core2&numShards=2&replicationFactor=2

在浏览器中直接访问以上地址.

如果报 org.apache.solr.handler.dataimport.DataImportHandler 错误, 则将 dataimport的jar包拷贝一份到tomcat/webapps/solr/WEB-INF/lib 中去.

这时候, 再刷新solr/index.html页面看看

你会发现,在core1下面,又多出一个core, 且是分片的. 以前只有一个主solr, 现在有两个主solr了.

core1现在我们不需要了, 可以删除掉. 那怎么删呢?

http://127.0.0.1:8180/solr/admin/collections?action=DELETE&name=core1

也是通过浏览器直接访问的方式.

再来看看index.html页面

 

 core1被删除了.