什么是SolrCloud(了解)
SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用SolrCloud来满足这些需求。
SolrCloud是基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zookeeper作为集群的配置信息中心。
它有几个特色功能:
1)集中式的配置信息
2)自动容错
3)近实时搜索
4)查询时自动负载均衡
Solr集群的系统架构(了解)
物理结构
三个Solr实例( 每个实例包括两个Core),组成一个SolrCloud。
逻辑结构
索引集合包括两个Shard(shard1和shard2),shard1和shard2分别由三个Core组成,其中一个Leader两个Replication,Leader是由zookeeper选举产生,zookeeper控制每个shard上三个Core的索引数据一致,解决高可用问题。
用户发起索引请求分别从shard1和shard2上获取,解决高并发问题。
collection
Collection在SolrCloud集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个Shard(分片),它们使用相同的配置信息。
比如:针对商品信息搜索可以创建一个collection。
collection=shard1+shard2+....+shardX
Core
每个Core是Solr中一个独立运行单位,提供 索引和搜索服务。一个shard需要由一个Core或多个Core组成。由于collection由多个shard组成所以collection一般由多个core组成。
Master或Slave
Master是master-slave结构中的主结点(通常说主服务器),Slave是master-slave结构中的从结点(通常说从服务器或备服务器)。同一个Shard下master和slave存储的数据是一致的,这是为了达到高可用目的。
Shard
Collection的逻辑分片。每个Shard被化成一个或者多个replication,通过选举确定哪个是Leader。
需要实现的solr集群架构
Zookeeper作为集群的管理工具。
- 集群管理:容错、负载均衡。
- 配置文件的集中管理
- 集群的入口
zookpeer实行投票选举策略,因此搭建的时候搭建奇数个,这样容易选出
需要实现zookeeper 高可用。需要搭建集群。建议是奇数节点。需要三个zookeeper服务器。
搭建solr集群需要7台服务器。
搭建伪分布式:
需要三个zookeeper节点
需要四个tomcat节点。
建议虚拟机的内容1G以上。
linux单机搭建Zookeeper集群
1、环境准备
CentOS-6.5-i386-bin-DVD1.iso
jdk-7u72-linux-i586.tar.gz
apache-tomcat-7.0.47.tar.gz
zookeeper-3.4.6.tar.gz
solr-4.10.3.tgz
2、安装步骤
Zookeeper集群搭建
第一步:需要安装jdk环境。
第二步:把zookeeper的压缩包上传到服务器。
第三步:解压缩。
第四步:把zookeeper复制三份。
我这里是因为要搭建solr集群,所以创建solr-cloud
[root@localhost ~]# mkdir /usr/local/solr-cloud
[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper01
[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper02
[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper03
第五步:在每个zookeeper目录下创建一个data目录。
[root@localhost ~]# mkdir /usr/local/solr-cloud/zookeeper01/data
[root@localhost ~]# mkdir /usr/local/solr-cloud/zookeeper02/data
[root@localhost ~]# mkdir /usr/local/solr-cloud/zookeeper03/data
第六步:在data目录下创建一个myid文件,文件名就叫做“myid”。内容就是每个实例的id。例如1、2、3 当前节点的编号
[root@localhost ~]# cd /usr/local/solr-cloud/zookeeper01/data
[root@localhost data]# echo 1 >> myid
[root@localhost ~]# cd /usr/local/solr-cloud/zookeeper02/data
[root@localhost data]# echo 2 >> myid
[root@localhost ~]# cd /usr/local/solr-cloud/zookeeper03/data
[root@localhost data]# echo 3 >> myid
第七步:修改配置文件。把conf目录下的zoo_sample.cfg文件改名为zoo.cfg 在zookpeer01 zookpeer02 zookpeer03中的data中做同样的操作
#这种方式是复制了一个并重命名
cp zoo_sample.cfg zoo.cfg
#这种方式是直接重命名
[root@localhost conf]# mv zoo_sample.cfg zoo.cfg
修改zoo.cfg
在zookeeper01目录下的配置如下:(注意:配置的端口都不能冲突) 同理在zookeeper02 03下配置,注意端口不能冲突。
dataDir:data目录的路径
clientPort:客户端连接zookeeper端口
2881:3881内部通信端口与投票端口
zookpeer01
zookpeer02
zookpeer03
server.1=192.168.25.129:2881:3881
server.2=192.168.25.129:2882:3882
server.3=192.168.25.129:2883:3883
如果你是公网服务器,需要这样配
server.1=0.0.0.0:2881:3881
server.2=0.0.0.0:2882:3882
server.3=0.0.0.0:2883:3883
开启端口
我们这里只需要关闭防火墙就可以了,不用去开启端口
开启所有使用的端口:
[root@localhost solr-cloud]# /sbin/iptables -I INPUT -p tcp --dport 3881 -j ACCEPT
[root@localhost solr-cloud]# /sbin/iptables -I INPUT -p tcp --dport 3882 -j ACCEPT
[root@localhost solr-cloud]# /sbin/iptables -I INPUT -p tcp --dport 3883 -j ACCEPT
[root@localhost solr-cloud]# /sbin/iptables -I INPUT -p tcp --dport 2881 -j ACCEPT
[root@localhost solr-cloud]# /sbin/iptables -I INPUT -p tcp --dport 2882 -j ACCEPT
[root@localhost solr-cloud]# /sbin/iptables -I INPUT -p tcp --dport 2883 -j ACCEPT
[root@localhost conf]# /sbin/iptables -I INPUT -p tcp --dport 2182 -j ACCEPT
[root@localhost conf]# /sbin/iptables -I INPUT -p tcp --dport 2183 -j ACCEPT
[root@localhost conf]# /sbin/iptables -I INPUT -p tcp --dport 2184 -j ACCEPT
[root@localhost conf]# /etc/rc.d/init.d/iptables save
[root@localhost conf]# /etc/rc.d/init.d/iptables restart
也可以直接关闭防火墙
临时关闭
[root@localhost bin]# service iptables stop
重启后永久关闭
[root@localhost bin]# chkconfig iptables off
如果是阿里云服务器还需要开启安全组
第八步:启动每个zookeeper实例。
单个启动:启动bin/zkServer.sh start
批处理启动方式
在与zookpeer同级的目录下写一个start-all.sh批处理文件
相对目录写法
cd zookeeper01/bin
./zkServer.sh start
cd ../../
cd zookeeper02/bin
./zkServer.sh start
cd ../../
cd zookeeper03/bin
./zkServer.sh start
cd ../../
绝对目录写法
cd /usr/local/solr-cloud/zookeeper01/bin
./zkServer.sh start
cd /usr/local/solr-cloud/zookeeper02/bin
./zkServer.sh start
cd /usr/local/solr-cloud/zookeeper03/bin
./zkServer.sh start
给start-all.sh文件权限
chmod u+x start-all.sh
启动批处理文件
./start-all.sh
可能出现的错误:
Starting zookeeper ... already running as process 17304.
删除对应无法启动zookeeper下的data目录下的.pid文件
查看zookeeper的状态:
bin/zkServer.sh status
如果提示leader或者follower,说明安装成功
如果你的状态是:Mode: standalone。。就配错了。。八成是zoo.cfg文件server.1、server.2、server.3写错了
查看集群状态与关闭集群
查看集群状态
[root@localhost solr-cloud]# vim zookeeper_status_all.sh
cd /usr/local/solr-cloud/zookeeper01/bin
./zkServer.sh status
cd /usr/local/solr-cloud/zookeeper02/bin
./zkServer.sh status
cd /usr/local/solr-cloud/zookeeper03/bin
./zkServer.sh status
赋权限
[root@localhost solr-cloud]# chmod u+x zookeeper_status_all.sh
关闭集群
[root@localhost solr-cloud]# vim zookeeper_stop_all.sh
cd /usr/local/solr-cloud/zookeeper01/bin
./zkServer.sh stop
cd /usr/local/solr-cloud/zookeeper02/bin
./zkServer.sh stop
cd /usr/local/solr-cloud/zookeeper03/bin
./zkServer.sh stop
[root@localhost solr-cloud]# chmod u+x zookeeper_stop_all.sh
可能的出现的错误与解决方案
https://blog.csdn.net/pdsu161530247/article/details/81983688
参考原文
原文:https://blog.csdn.net/pdsu161530247/article/details/81978986