壹立方商城----linux单机搭建Zookeeper集群

什么是SolrCloud(了解)

SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用SolrCloud来满足这些需求。

 SolrCloud是基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zookeeper作为集群的配置信息中心。

它有几个特色功能:

1)集中式的配置信息

2)自动容错

3)近实时搜索

4)查询时自动负载均衡

Solr集群的系统架构(了解)

物理结构

三个Solr实例( 每个实例包括两个Core),组成一个SolrCloud。

逻辑结构

索引集合包括两个Shard(shard1和shard2),shard1和shard2分别由三个Core组成,其中一个Leader两个Replication,Leader是由zookeeper选举产生,zookeeper控制每个shard上三个Core的索引数据一致,解决高可用问题。

用户发起索引请求分别从shard1和shard2上获取,解决高并发问题。

collection

Collection在SolrCloud集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个Shard(分片),它们使用相同的配置信息。

比如:针对商品信息搜索可以创建一个collection。

 collection=shard1+shard2+....+shardX

Core

每个Core是Solr中一个独立运行单位,提供 索引和搜索服务。一个shard需要由一个Core或多个Core组成。由于collection由多个shard组成所以collection一般由多个core组成。

Master或Slave

Master是master-slave结构中的主结点(通常说主服务器),Slave是master-slave结构中的从结点(通常说从服务器或备服务器)。同一个Shard下master和slave存储的数据是一致的,这是为了达到高可用目的。

Shard

Collection的逻辑分片。每个Shard被化成一个或者多个replication,通过选举确定哪个是Leader。

需要实现的solr集群架构

Zookeeper作为集群的管理工具。

  1. 集群管理:容错、负载均衡。
  2. 配置文件的集中管理
  3. 集群的入口

zookpeer实行投票选举策略,因此搭建的时候搭建奇数个,这样容易选出

需要实现zookeeper 高可用。需要搭建集群。建议是奇数节点。需要三个zookeeper服务器。

搭建solr集群需要7台服务器。

搭建伪分布式:

需要三个zookeeper节点

需要四个tomcat节点。

建议虚拟机的内容1G以上。

linux单机搭建Zookeeper集群

1、环境准备

CentOS-6.5-i386-bin-DVD1.iso

jdk-7u72-linux-i586.tar.gz

apache-tomcat-7.0.47.tar.gz

zookeeper-3.4.6.tar.gz

solr-4.10.3.tgz

2、安装步骤

Zookeeper集群搭建

第一步:需要安装jdk环境。

第二步:把zookeeper的压缩包上传到服务器。

第三步:解压缩。

第四步:把zookeeper复制三份。

我这里是因为要搭建solr集群,所以创建solr-cloud

[root@localhost ~]# mkdir /usr/local/solr-cloud
[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper01
[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper02
[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper03

第五步:在每个zookeeper目录下创建一个data目录。

[root@localhost ~]# mkdir /usr/local/solr-cloud/zookeeper01/data 
[root@localhost ~]# mkdir /usr/local/solr-cloud/zookeeper02/data 
[root@localhost ~]# mkdir /usr/local/solr-cloud/zookeeper03/data 

第六步:在data目录下创建一个myid文件,文件名就叫做“myid”。内容就是每个实例的id。例如1、2、3 当前节点的编号

[root@localhost ~]# cd /usr/local/solr-cloud/zookeeper01/data
[root@localhost data]# echo 1 >> myid
[root@localhost ~]# cd /usr/local/solr-cloud/zookeeper02/data
[root@localhost data]# echo 2 >> myid
[root@localhost ~]# cd /usr/local/solr-cloud/zookeeper03/data
[root@localhost data]# echo 3 >> myid

第七步:修改配置文件。把conf目录下的zoo_sample.cfg文件改名为zoo.cfg 在zookpeer01 zookpeer02 zookpeer03中的data中做同样的操作

#这种方式是复制了一个并重命名
cp zoo_sample.cfg zoo.cfg
#这种方式是直接重命名
[root@localhost conf]# mv zoo_sample.cfg zoo.cfg

修改zoo.cfg

在zookeeper01目录下的配置如下:(注意:配置的端口都不能冲突) 同理在zookeeper02 03下配置,注意端口不能冲突。

dataDir:data目录的路径

clientPort:客户端连接zookeeper端口

2881:3881内部通信端口与投票端口

zookpeer01 

zookpeer02

zookpeer03

server.1=192.168.25.129:2881:3881
server.2=192.168.25.129:2882:3882
server.3=192.168.25.129:2883:3883

如果你是公网服务器,需要这样配

server.1=0.0.0.0:2881:3881
server.2=0.0.0.0:2882:3882
server.3=0.0.0.0:2883:3883

开启端口

我们这里只需要关闭防火墙就可以了,不用去开启端口
开启所有使用的端口:

[root@localhost solr-cloud]# /sbin/iptables -I INPUT -p tcp --dport 3881 -j ACCEPT
[root@localhost solr-cloud]# /sbin/iptables -I INPUT -p tcp --dport 3882 -j ACCEPT
[root@localhost solr-cloud]# /sbin/iptables -I INPUT -p tcp --dport 3883 -j ACCEPT
[root@localhost solr-cloud]# /sbin/iptables -I INPUT -p tcp --dport 2881 -j ACCEPT
[root@localhost solr-cloud]# /sbin/iptables -I INPUT -p tcp --dport 2882 -j ACCEPT
[root@localhost solr-cloud]# /sbin/iptables -I INPUT -p tcp --dport 2883 -j ACCEPT
[root@localhost conf]# /sbin/iptables -I INPUT -p tcp --dport 2182 -j ACCEPT
[root@localhost conf]# /sbin/iptables -I INPUT -p tcp --dport 2183 -j ACCEPT
[root@localhost conf]# /sbin/iptables -I INPUT -p tcp --dport 2184 -j ACCEPT
[root@localhost conf]# /etc/rc.d/init.d/iptables save
[root@localhost conf]# /etc/rc.d/init.d/iptables restart


也可以直接关闭防火墙

临时关闭

[root@localhost bin]# service iptables stop


重启后永久关闭

[root@localhost bin]# chkconfig iptables off


如果是阿里云服务器还需要开启安全组

第八步:启动每个zookeeper实例。

单个启动:启动bin/zkServer.sh start

批处理启动方式

在与zookpeer同级的目录下写一个start-all.sh批处理文件

相对目录写法

cd zookeeper01/bin
./zkServer.sh start
cd ../../
cd zookeeper02/bin
./zkServer.sh start
cd ../../
cd zookeeper03/bin
./zkServer.sh start
cd ../../

绝对目录写法

cd /usr/local/solr-cloud/zookeeper01/bin
./zkServer.sh start
 
cd /usr/local/solr-cloud/zookeeper02/bin
./zkServer.sh start
 
cd /usr/local/solr-cloud/zookeeper03/bin
./zkServer.sh start

给start-all.sh文件权限

chmod u+x start-all.sh 

启动批处理文件

./start-all.sh

可能出现的错误:

Starting zookeeper ... already running as process 17304.

删除对应无法启动zookeeper下的data目录下的.pid文件

查看zookeeper的状态:

bin/zkServer.sh status

如果提示leader或者follower,说明安装成功

如果你的状态是:Mode: standalone。。就配错了。。八成是zoo.cfg文件server.1、server.2、server.3写错了

查看集群状态与关闭集群

查看集群状态

[root@localhost solr-cloud]# vim zookeeper_status_all.sh
cd /usr/local/solr-cloud/zookeeper01/bin
./zkServer.sh status
 
cd /usr/local/solr-cloud/zookeeper02/bin
./zkServer.sh status
 
cd /usr/local/solr-cloud/zookeeper03/bin
./zkServer.sh status


赋权限

[root@localhost solr-cloud]# chmod u+x zookeeper_status_all.sh


关闭集群

[root@localhost solr-cloud]# vim zookeeper_stop_all.sh
cd /usr/local/solr-cloud/zookeeper01/bin
./zkServer.sh stop
 
cd /usr/local/solr-cloud/zookeeper02/bin
./zkServer.sh stop
 
cd /usr/local/solr-cloud/zookeeper03/bin
./zkServer.sh stop

[root@localhost solr-cloud]# chmod u+x zookeeper_stop_all.sh



可能的出现的错误与解决方案

https://blog.csdn.net/pdsu161530247/article/details/81983688


 

参考原文

原文:https://blog.csdn.net/pdsu161530247/article/details/81978986 
 

猜你喜欢

转载自blog.csdn.net/qq_30916377/article/details/83215765
今日推荐