Solr集群版安装使用

其他 2018-11-10 10:21:40 阅读次数: 0

1 课程计划

第七天：

  1. solr集群搭建
  2. 使用solrj管理solr集群
  3. 把搜索功能切换到集群版

2 什么是SolrCloud

SolrCloud(solr 云)是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的，当索引量很大，搜索请求并发很高，这时需要使用SolrCloud来满足这些需求。

 SolrCloud是基于Solr和Zookeeper的分布式搜索方案，它的主要思想是使用Zookeeper作为集群的配置信息中心。

它有几个特色功能：

1）集中式的配置信息

2）自动容错

3）近实时搜索

4）查询时自动负载均衡

3 Solr集群的系统架构

3.1 物理结构

三个Solr实例（ 每个实例包括两个Core），组成一个SolrCloud。

3.2 逻辑结构

索引集合包括两个Shard（shard1和shard2），shard1和shard2分别由三个Core组成，其中一个Leader两个Replication，Leader是由zookeeper选举产生，zookeeper控制每个shard上三个Core的索引数据一致，解决高可用问题。

用户发起索引请求分别从shard1和shard2上获取，解决高并发问题。

3.2.1 collection

Collection在SolrCloud集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个Shard（分片），它们使用相同的配置信息。

比如：针对商品信息搜索可以创建一个collection。

 collection=shard1+shard2+....+shardX

3.2.2 Core

每个Core是Solr中一个独立运行单位，提供 索引和搜索服务。一个shard需要由一个Core或多个Core组成。由于collection由多个shard组成所以collection一般由多个core组成。

3.2.3 Master或Slave

Master是master-slave结构中的主结点（通常说主服务器），Slave是master-slave结构中的从结点（通常说从服务器或备服务器）。同一个Shard下master和slave存储的数据是一致的，这是为了达到高可用目的。

3.2.4 Shard

Collection的逻辑分片。每个Shard被化成一个或者多个replication，通过选举确定哪个是Leader。

简单理解：服务器a下的core数据不同。不同服务器（主备，1台服务器等于1份数据）跟一个服务器a的数据一样。同个shard的数据相同（主备，从不同的服务器取相同的core）。不同shard的数据不同（不同的shard取不同的core）。

3.3 需要实现的solr集群架构

Zookeeper作为集群的管理工具。

  1. 集群管理：容错、负载均衡。
  2. 配置文件的集中管理
  3. 集群的入口

 

需要实现zookeeper 高可用。需要搭建集群。建议是奇数节点。需要三个zookeeper服务器。

 

搭建solr集群需要7台服务器。

 

搭建伪分布式：

需要三个zookeeper节点

需要四个tomcat节点。

 

建议虚拟机的内容1G以上。

4 环境准备

    CentOS-6.5-i386-bin-DVD1.iso

    jdk-7u72-linux-i586.tar.gz

    apache-tomcat-7.0.47.tar.gz

    zookeeper-3.4.6.tar.gz

    solr-4.10.3.tgz

5 安装步骤

5.1 Zookeeper集群搭建

第一步：需要安装jdk环境。

第二步：把zookeeper、tomcat、的压缩包I和K Analyzer 2012FF_hf1文件上传到服务器。

第三步：解压缩。

[root@localhost ~]# tar zxf zookeeper-3.4.6.tar.gz 

第四步：把zookeeper复制三份。

[root@localhost ~]# mkdir /usr/local/solr-cloud

[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper01

[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper02

[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper03

[root@localhost ~]# cd /usr/local/solr-cloud

第五步：在每个zookeeper目录下创建一个data目录。

[root@localhost solr-cloud]# cd zookeeper01

[root@localhost zookeeper01]# mkdir data

第六步：在data目录下创建一个myid文件，文件名就叫做“myid”。内容就是每个实例的id。例如1、2、3

[root@localhost zookeeper01]# cd data

[root@localhost data]# touch myid

[root@localhost data]# vim myid

[root@localhost data]# echo 1 >> myid

[root@localhost data]# ll

total 4

-rw-r--r--. 1 root root 2 Apr  7 18:23 myid

[root@localhost data]# cat myid

1

第七步：修改配置文件。把conf目录下的zoo_sample.cfg文件改名为zoo.cfg

[root@localhost data]# cd ..

[root@localhost zookeeper01]# cd conf

[root@localhost conf]# cp zoo_sample.cfg zoo.cfg

[root@localhost conf]# vim zoo.cfg 

修改dataDir为创建的data目录路径加：

server.1=192.168.25.154:2881:3881

server.2=192.168.25.154:2882:3882

server.3=192.168.25.154:2883:3883

zookeeper配置过程：

[root@localhost conf]# cd ..

[root@localhost zookeeper01]# cd ..

[root@localhost solr-cloud]# mkdir zookeeper02/data

[root@localhost solr-cloud]# cd zookeeper02/data

[root@localhost data]# echo 2 >myid

[root@localhost data]# cat myid

[root@localhost data]# cd ..

[root@localhost zookeeper02]# cd conf

[root@localhost conf]# cp zoo_sample.cfg zoo.cfg

[root@localhost conf]# vim zoo.cfg 

[root@localhost conf]# cd ..

[root@localhost zookeeper02]# cd ../zookeeper03

[root@localhost zookeeper03]# mkdir data

[root@localhost zookeeper03]# echo 3 >data/myid

[root@localhost zookeeper03]# cat data/myid

[root@localhost zookeeper03]# cd conf

[root@localhost conf]# cp zoo_sample.cfg zoo.cfg

[root@localhost conf]# vim zoo.cfg 

第八步：启动每个zookeeper实例。

启动bin/zkServer.sh start

[root@localhost conf]# cd ..

[root@localhost zookeeper03]# cd ..

[root@localhost solr-cloud]# vim start-all.sh

[root@localhost solr-cloud]# chmod u+x start-all.sh

[root@localhost solr-cloud]# ./start-all.sh 

查看zookeeper的状态：

[root@localhost solr-cloud]# zookeeper01/bin/zkServer.sh status

[root@localhost solr-cloud]# zookeeper02/bin/zkServer.sh status

[root@localhost solr-cloud]# zookeeper03/bin/zkServer.sh status

上面因zookeeper01最下面的配置写错了

配置成功为下图：

关闭zookeeper：

[root@localhost solr-cloud]# cd /usr/local/solr-cloud/zookeeper01/bin

[root@localhost bin]# ./zkServer.sh stop

5.2 Solr集群的搭建

第一步：创建四个tomcat实例。每个tomcat运行在不同的端口。8180、8280、8380、8480

[root@localhost ~]# cp -r apache-tomcat-7.0.47 /usr/local/solr-cloud/tomcat01

[root@localhost ~]# cp -r apache-tomcat-7.0.47 /usr/local/solr-cloud/tomcat02

[root@localhost ~]# cp -r apache-tomcat-7.0.47 /usr/local/solr-cloud/tomcat03

[root@localhost ~]# cp -r apache-tomcat-7.0.47 /usr/local/solr-cloud/tomcat04

第二步：部署solr的war包。把单机版的solr工程复制到集群中的tomcat中。

[root@localhost ~]# cd /usr/local/solr-cloud/

[root@localhost solr-cloud]# cp -r ../solr/tomcat/webapps/solr/ tomcat01/webapps/

[root@localhost solr-cloud]# cp -r ../solr/tomcat/webapps/solr/ tomcat02/webapps/

[root@localhost solr-cloud]# cp -r ../solr/tomcat/webapps/solr/ tomcat03/webapps/

[root@localhost solr-cloud]# cp -r ../solr/tomcat/webapps/solr/ tomcat04/webapps/

[root@localhost solr-cloud]# vim tomcat01/conf/server.xml 

修改tomcat端口号：

修改4个tomcat的端口号

第三步：为每个solr实例创建一个对应的solrhome。使用单机版的solrhome复制四份。

[root@localhost solr-cloud]# cp -r ../solr/solrhome/ solrhome01

[root@localhost solr-cloud]# cp -r ../solr/solrhome/ solrhome02

[root@localhost solr-cloud]# cp -r ../solr/solrhome/ solrhome03

[root@localhost solr-cloud]# cp -r ../solr/solrhome/ solrhome04

第四步：需要修改solr的web.xml文件。把solrhome关联起来。

[root@localhost solr-cloud]# vim tomcat01/webapps/solr/WEB-INF/web.xml

[root@localhost solr-cloud]# vim tomcat02/webapps/solr/WEB-INF/web.xml

修改4台tomcat的solrhome路径

第五步：配置solrCloud相关的配置。每个solrhome下都有一个solr.xml，把其中的ip及端口号配置好。

[root@localhost solr-cloud]# cd solrhome01

[root@localhost solrhome01]# vim solr.xml 

[root@localhost solrhome01]# cd ..

[root@localhost solr-cloud]# vim solrhome02/solr.xml 

[root@localhost solr-cloud]# vim solrhome03/solr.xml 

[root@localhost solr-cloud]# vim solrhome04/solr.xml

修改4台tomcat的solrhome运行ip端口

第六步：修改tomcat/bin目录下的catalina.sh 文件，关联solr和zookeeper（跳过第六步先操作第七步）。

[root@localhost solr-cloud]# cd tomcat01/bin

[root@localhost bin]# vim catalina.sh

搜索JAVA_OPTS，在第一个使用的位置之前，把此配置添加到配置文件中：

JAVA_OPTS="-DzkHost=192.168.25.166:2181,192.168.25.166:2182,192.168.25.166:2183"

[root@localhost bin]# cd ../..

[root@localhost solr-cloud]# vim tomcat02/bin/catalina.sh

[root@localhost solr-cloud]# vim tomcat03/bin/catalina.sh

[root@localhost solr-cloud]# vim tomcat04/bin/catalina.sh

第七步：让zookeeper统一管理配置文件。需要把solrhome/collection1/conf目录上传到zookeeper。上传任意solrhome中的配置文件即可。

[root@localhost solr-4.10.3]# cd /root/solr-4.10.3/example/scripts/cloud-scripts

使用工具上传配置文件：

[root@localhost solr-4.10.3]#./zkcli.sh -zkhost 192.168.25.166:2181,192.168.25.166:2182,192.168.25.166:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome01/collection1/conf -confname myconf

查看zookeeper上的配置文件：

使用zookeeper目录下的bin/zkCli.sh命令查看zookeeper上的配置文件：

[root@localhost zookeeper01]# cd /usr/local/solr-cloud/zookeeper01/bin

直接执行下面的命令为本地的：

[root@localhost bin]# ./zkCli.sh

指定ip端口号连接：

[root@localhost bin]# ./zkCli.sh -server 192.168.25.166:2182

输入以下命令：

[zk: localhost:2181(CONNECTED) 0] ls /

[configs, zookeeper]

[zk: localhost:2181(CONNECTED) 1] ls /configs

[myconf]

[zk: localhost:2181(CONNECTED) 2] ls /configs/myconf

[admin-extra.menu-top.html, currency.xml, protwords.txt, mapping-FoldToASCII.txt, _schema_analysis_synonyms_english.json, _rest_managed.json, solrconfig.xml, _schema_analysis_stopwords_english.json, stopwords.txt, lang, spellings.txt, mapping-ISOLatin1Accent.txt, admin-extra.html, xslt, synonyms.txt, scripts.conf, update-script.js, velocity, elevate.xml, admin-extra.menu-bottom.html, clustering, schema.xml]

[zk: localhost:2181(CONNECTED) 3]

退出：

[zk: localhost:2181(CONNECTED) 3] quit

使用以下命令连接指定的zookeeper服务：

./zkCli.sh -server 192.168.25.154:2183

06.回顾视频讲解

 

第八步：启动每个tomcat实例。要包装zookeeper集群是启动状态。

[root@localhost solr-cloud]# vim start-tomcat-all.sh

[root@localhost solr-cloud]# chmod u+x start-tomcat-all.sh 

[root@localhost solr-cloud]# ./start-tomcat-all.sh 

[root@localhost ~]# tail -f /usr/local/solr-cloud/tomcat01/logs/catalina.out

第九步：访问集群

http://192.168.25.166:8180/solr/

第十步：创建新的Collection进行分片处理。

http://192.168.25.166:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

 

 

第十一步：删除不用的Collection。

http://192.168.25.154:8180/solr/admin/collections?action=DELETE&name=collection1

 

 

6 使用solrJ管理集群

6.1 添加文档

使用步骤：

第一步：把solrJ相关的jar包添加到工程中。

第二步：创建一个SolrServer对象，需要使用CloudSolrServer子类。构造方法的参数是zookeeper的地址列表。

第三步：需要设置DefaultCollection属性。

第四步：创建一SolrInputDocument对象。

第五步：向文档对象中添加域

第六步：把文档对象写入索引库。

第七步：提交。

@Test

      public void testSolrCloudAddDocument() throws Exception {

            // 第一步：把solrJ相关的jar包添加到工程中。

            // 第二步：创建一个SolrServer对象，需要使用CloudSolrServer子类。构造方法的参数是zookeeper的地址列表。

            //参数是zookeeper的地址列表，使用逗号分隔

            CloudSolrServer solrServer = new CloudSolrServer("192.168.25.154:2181,192.168.25.154:2182,192.168.25.154:2183");

            // 第三步：需要设置DefaultCollection属性。

            solrServer.setDefaultCollection("collection2");

            // 第四步：创建一SolrInputDocument对象。

            SolrInputDocument document = new SolrInputDocument();

            // 第五步：向文档对象中添加域

            document.addField("item_title", "测试商品");

            document.addField("item_price", "100");

            document.addField("id", "test001");

            // 第六步：把文档对象写入索引库。

            solrServer.add(document);

            // 第七步：提交。

            solrServer.commit();

 

      }

6.2 查询文档

创建一个CloudSolrServer对象，其他处理和单机版一致。

7 把搜索功能切换到集群版

修改搜索工程配置文件applicationContext-solr.xml

<?xml version="1.0" encoding="UTF-8"?>

<beans xmlns="http://www.springframework.org/schema/beans"

      xmlns:context="http://www.springframework.org/schema/context" xmlns:p="http://www.springframework.org/schema/p"

      xmlns:aop="http://www.springframework.org/schema/aop" xmlns:tx="http://www.springframework.org/schema/tx"

      xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

      xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans4.2.xsd

      http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context4.2.xsd

      http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop4.2.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx4.2.xsd

      http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util4.2.xsd">

 

      <!-- 单机版solr服务配置 -->

      <!-- <bean id="httpSolrServer" class="org.apache.solr.client.solrj.impl.HttpSolrServer">

            <constructor-arg name="baseURL" value="http://192.168.25.154:8080/solr"></constructor-arg>

      </bean> -->

      <!-- 集群版solr服务 -->

      <bean id="cloudSolrServer" class="org.apache.solr.client.solrj.impl.CloudSolrServer">

            <constructor-arg name="zkHost" value="192.168.25.166:2181,192.168.25.166:2182,192.168.25.166:2183"></constructor-arg>   

            <property name="defaultCollection" value="collection2"></property>

      </bean>

</beans>

8 全局异常处理

8.1 处理思路

8.2 创建全局异常处理器

引入log4j.properties配置文件

引入log4j的两个jar包

在e3-search-web创建异常处理类

public class GlobalExceptionReslover implements HandlerExceptionResolver {

 

      Logger logger = LoggerFactory.getLogger(GlobalExceptionReslover.class);

     

      @Override

      public ModelAndView resolveException(HttpServletRequest request, HttpServletResponse response, Object handler,

                  Exception ex) {

            //写日志文件

            logger.error("系统发生异常", ex);

            //发邮件、发短信

            //Jmail：可以查找相关的资料

            //需要在购买短信。调用第三方接口即可。

            //展示错误页面

            ModelAndView modelAndView = new ModelAndView();

            modelAndView.addObject("message", "系统发生异常，请稍后重试");

            modelAndView.setViewName("error/exception");

            return modelAndView;

      }

 

}

8.3 Springmvc中配置异常处理器

猜你喜欢

转载自blog.csdn.net/etna_hh/article/details/82820617
今日推荐
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
GCC 14.1 发布
面壁智能发布 Eurux-8x22B 开源大模型 —— 堪称「理科状元」
开源日报 | 谷歌扶持鸿蒙上位；开源Rabbit R1；Docker加持的安卓手机；微软的焦虑和野心；海尔电器把开放平台关了
中国码农的“35岁魔咒”
蘭雅 CorelDRAW 插件 2024.5.1 国际劳动节版，免费下载
Arc Browser for Windows 1.0 正式 GA
90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！
周排行
Java自定义时间格式
同步整形电路
在开发中最最最常用的字符串的属性大集合
Linux 查看端口占用并杀掉
Java基础四：ArrayList
多线程之死锁就是这么简单
mysql 基础命令集
awk 命令详解
Centos6.3编译安装nginx+php步骤
OCR （Optical Character Recognition，光学字符识别）
每日归档
更多
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022