solr集群版环境搭建

SolrCloud简介

SolrCloud是solr提供的分布式搜索方案,当需要大规模容错、分布式索引和检索能力时使用。当一个系统的索引数量少时,不需要使用SolrCloud;当索引量很大,搜索请求并发很高时,需要使用SolrCloud。

SolrCloud是基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zookeeper作为集群的配置信息中心。

它有几个特色功能:

1)集中式的配置信息

2)自动容错

3)近实时搜索

4)查询时自动负载均衡

Zookeeper简介

顾名思义zookeeper就是动物园管理员,他是用来管理hadoop(大象)、Hive(蜜蜂)、pig(小猪)的管理员,Apache Hbase和Apache Solr的分布式集群都用到了zookeeper。Zookeeper是一个分布式的、开源的程序协调服务,是hadoop项目下的一个子项目。

zookeeper:集群管理工具,集群入口。

  1. 集群管理

主从的管理、负载均衡、高可用的管理。集群的入口。Zookeeper必须是集群才能保证高可用。Zookeeper有选举和投票的机制。集群中至少应该有三个节点。

  1. 配置文件的集中管理

搭建solr集群时,需要把Solr的配置文件上传zookeeper,让zookeeper统一管理。每个节点都到zookeeper上取配置文件。

  1. 分布式锁

SolrCloud结构

SolrCloud为了降低单击的处理压力,需要由多态服务器共同来完成索引的搜索任务。实现的思路是将索引数据进行Shard(分片)拆分,每个分片由多态服务器共同完成,当一个索引或搜索请求过来时,会分别从不同的shard的服务器中操作索引。

SolrCloud需要Solr基于Zookeeper部署,Zookeeper是一个集群管理软件,由于SolrCloud需要由多台服务器组成,由zookeeper来进行协调管理。

搭建步骤Zookeeper集群搭建

第一步:需要把zookeeper-3.4.6.tar.gz的安装包上传到服务器。

第二步:把zookeeper解压:tar –zxvfzookeeper-3.4.6.tar.gz

第三步:把zookeeper向/usr/local/solr-cloud目录下复制三份。

第三步:配置zookeeper。

1.在zookeeper01目录下创建一个data文件夹。

2.在data目录下创建一个myid的文件

3.myid的内容为1(02对应“2”,03对应“3”)

在data文件夹下建立一个myid文件,并在myid文件中,写入内容1

4.zookeeper02、03以此类推。

5.进入conf文件,把zoo_sample.cfg文件改名为zoo.cfg;或者复制zoo_sample.cfg一份,并命名为zoo.cfg

6.修改zoo.cfg,把dataDir=属性指定为刚创建的data文件夹。

(本demo路径:/usr/local/solr-cloud/zookeeper01/data/)

7.修改zoo.cfg,把clientPort指定为不冲突的端口号(01:2181、02:2182、03:2183)

(2181:这个端口是客户端连接端口

8.在zoo.cfg中添加如下内容:

server.1=192.168.33.10:2881:3881

server.2=192.168.33.10:2882:3882

server.3=192.168.33.10:2883:3883

(这个端口是服务器连接端口,不能重复)

第四步:启动zookeeper。

Zookeeper的目录下有一个bin目录。使用zkServer.sh启动zookeeper服务。

启动命令:./zkServer.sh start

另一种启动zookeeper的方式:./zkServer.shstart-foreground //这种启动方式,能够查看zookeeper的日志

关闭命令:./zkServer.sh stop

查看服务状态:./zkServer.sh status

Solr集群搭建

第一步:安装四个tomcat,修改其端口号不能冲突。8080~8083

端口号分别修改为:8005-8006-8007-8008

8080-8081-8082-8083

8009-8010-8011-8012

第二步:向tomcat下部署solr。把单机版的solr工程复制到tomcat下即可。

(将单机版的solr/tomcat/webapps下的solr复制到solr-cloud/tomcat01/webapps/下面)

第三步:为每个solr实例创建一solrhome。

将单机版的solr/下的solrhome复制到solr-cloud/目录下,分别命名为solrhome01-solrhome04

第四步:为每个solr实例关联对应的solrhome。修改web.xml(为tomcat关联solrhome)

修改solr-cloud/tomcat01/webapps/solr/WEB-INF/web.xml文件

第五步:修改每个solrhome下的solr.xml文件。修改host、hostPort两个属性。分别是对应的ip及端口号。

host:当前实例运行的ip地址

port:当前实例运行的端口号,是当前tomcat的端口号

第六步:把配置文件上传到zookeeper。需要使用

/root/solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh命令上传配置文件。

把/usr/local/solr-cloud/solrhome01/collection1/conf目录上传到zookeeper。

需要zookeeper集群已经启动。

(上传任意一个)

./zkcli.sh -zkhost 192.168.33.10:2181,192.168.33.10:2182,192.168.33.10:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome01/collection1/conf -confname myconf

第七步:查看是否上传成功。

使用zookeeper的zkcli.sh命令。

zkcli.sh存在位置:/usr/local/solr-cloud/zookeeper01/bin

(注:zookeeper只要连接上任意节点,就行了)

第八步:告诉solr实例zookeeper的位置。需要修改tomcat的catalina.sh添加 (tomcat/bin/catalina.sh)

JAVA_OPTS="-DzkHost=192.168.33.10:2181,192.168.33.10:2182,192.168.33.10:2183"

在使用JAVA_OPTS之前添加这句话:

每个节点都需要添加。

第九步:启动每个solr实例。

使用脚本,启动所有solr实例

vi start-all.sh

查看启动日志 :tail -f tomcat01/logs/catalina.out

查看solrCloud搭建是否成功,使用浏览器查看solr,点击Cloud可以看到solr集群

第十步:集群分片。

将集群分为两片,每片两个副本。(numShards:分成两片;replicationFactor:两个副本)

在浏览器中运行下面的链接:

http://192.168.33.10:8080/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

看到success,就说明成功了。

拆分结果:

第十一步:删除不用collection1

在浏览器中打开下面的链接:

http://192.168.33.10:8080/solr/admin/collections?action=DELETE&name=collection1

看到success,就说明成功了。

删除之后的效果:

问题解决

问题一:查看zookeeper服务状态时,报错:Errorcontactingservice.Itisprobablynotrunning.

启动没有问题,但是查看solr集群状态时,总是报错。solr明明显示已经起来了,但是查看solr状态时,却提示没有启动:

解决办法:可能是真的没有启动,虽然显示成功,但是成功之后,就马上关闭了。可以关闭之后,再重新启动。

在网上搜索到的解决办法:

打开zkServer.sh找到status,即找到下面的这句话:

STAT="echo stat | nc localhost$(grep clientPort "$ZOOCFG" | sed -e "s/.*=//") 2> /dev/null| grep Mode"

在nc与localhost之间加上 -q 1(是数字1而不是字母l),如果已存在,则去掉。如果没有这句话,则加上。

 

问题二:用日志方式启动zookeeper时,报错:

Unexpectedexception,exitingabnormally

java.net.BindException:Addressalreadyinuse

原因:端口被占用

解决方法:1、如果使用ps aux|grep 2181,查看不到端口被占用。

2、使用lsof -i:2181命令查看端口占用情况

3、若执行lsof -i:2181命令提示:-bash:lsof:commandnotfound

4、执行yum install lsof命令

5、再查看端口占用情况,停调被占用的端口,即可。

问题三:启动solr集群后,浏览器打开solr链接,报错:

原因:正如问题一一样,显示zookeeper已经启动成功了,但实际,没有真正启动成功。

解决办法:重新启动

猜你喜欢

转载自hunan.iteye.com/blog/2322026