Linux Centos 搭建 SolrCloud 分布式

编程语言 2018-12-02 15:30:32 阅读次数: 0
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_22067469/article/details/84706983

SolrCloud简介

在这里插入代码片SolrCloud(solr 云)是 Solr 提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用 SolrCloud的，当索引量很大，搜索请求并发很高，这时需要使用 SolrCloud 来满足这些需求。
SolrCloud 是基于 Solr 和Zookeeper的分布式搜索方案，它的主要思想是使用 Zookeeper作为集群的配置信息中心。
SolurCloud主要有以下几个特色功能

  • 集中式的配置信息
  • 自动容错
  • 近实时搜索
  • 查询时自动负载均衡

SolorCloud系统架构

在这里插入图片描述
1、物理结构

三个 Solr 实例（ 每个实例包括两个 Core），组成一个 SolrCloud。

2、逻辑结构

索引集合包括两个 Shard（shard1 和 shard2），shard1 和 shard2 分别由三个 Core 组成，其中一个 Leader 两个 Replication，Leader 是由 zookeeper 选举产生，zookeeper 控制每个shard上三个 Core 的索引数据一致，解决高可用问题。
用户发起索引请求分别从 shard1 和 shard2 上获取，解决高并发问题。

2.1、Collection

Collection 在 SolrCloud 集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个 Shard（分片），它们使用相同的配置信息。
比如：针对商品信息搜索可以创建一个 collection。
collection=shard1+shard2+…+shardX

2.2、Core

每个 Core 是 Solr 中一个独立运行单位，提供索引和搜索服务。一个 shard 需要由一个Core 或多个 Core 组成。由于 collection 由多个 shard 组成所以 collection 一般由多个 core 组成。

2.3、Master或 Slave

Master 是 master-slave 结构中的主结点（通常说主服务器），Slave 是 master-slave 结构中的从结点（通常说从服务器或备服务器）。同一个 Shard 下 master 和 slave 存储的数据是一致的，这是为了达到高可用目的。

2.4、Shard

Collection 的逻辑分片。每个 Shard 被化成一个或者多个 replication，通过选举确定哪个是 Leader。

搭建SolrCloud

本次搭建的solor架构
在这里插入图片描述
Zookeeper作为集群管理工具
1、集群管理：容错、负载均衡。
2、配置文件的集中管理
3、集群的入口

需要实现 zookeeper 高可用，需要搭建zookeeper集群。建议是奇数节点。需要三个 zookeeper 服务器。

  • 搭建 solr 集群需要 7 台服务器（这里同样是伪分布式）
  • 需要三个Zookeeper节点
  • 需要四个Tomcat节点。

准备工作

1、环境准备

  • Linux Centos服务器（本次使用腾讯云）
  • JDK1.8
  • Tomcat8.5
  • Zookeeper3.4.10
  • Solor4.10.3

2、搭建步骤
2.1、搭建Zookeeper集群（已单独搭建好，请参考上篇文章：链接地址）
2.2、上传部署完成Solor的tomcat的上传到服务器（Solor部署请参考我的SOlor搭建：链接地址）
2.3、在服务器上创建文件夹 /usr/local/solr-cloud创建4个tomcat实例

mkdir /usr/local/solr-cloud
cp -r apache-tomcat-solr /usr/local/solr-cloud/tomcat-1
cp -r apache-tomcat-solr /usr/local/solr-cloud/tomcat-2
cp -r apache-tomcat-solr /usr/local/solr-cloud/tomcat-3
cp -r apache-tomcat-solr /usr/local/solr-cloud/tomcat-4

在这里插入图片描述

2.4、上传solorhome到服务器
2.5、在服务器创建文件夹 /usr/local/solrhomes，将solrhome复制4份

mkdir /usr/local/solrhomes
cp -r solrhome /usr/local/solrhomes/solrhome-1
cp -r solrhome /usr/local/solrhomes/solrhome-2
cp -r solrhome /usr/local/solrhomes/solrhome-3
cp -r solrhome /usr/local/solrhomes/solrhome-4

在这里插入图片描述
2.6、修改每个solr的web.xml文件，关联solrhome，对应目录/usr/local/solr-cloud/tomcat-1/webapps/solr/WEB-INF/web.xml，每个tomcat的对应每个solorhome。

<env-entry>
   <env-entry-name>solr/home</env-entry-name>
   <env-entry-value>/usr/local/solrhomes/solrhome-1</env-entry-value>
   <env-entry-type>java.lang.String</env-entry-type>
</env-entry>

2.7、修改每个tomcat的端口，原端口分别为 8085 8080 8009。对应目录/usr/local/solr-cloud/tomcat-1/conf/server.xml。

8005端口是用来关闭TOMCAT服务的端口。
8080端口，负责建立HTTP连接。在通过浏览器访问Tomcat服务器的Web应用时，使用的就是这个连接器。
8009端口，负责和其他的HTTP服务器建立连接。在把Tomcat与其他HTTP服务器集成时，就需要用到这个连接器。

修改:tomcat-1 8185  8180  8109
修改:tomcat-2 8285  8280  8209
修改:tomcat-3 8385  8380  8309
修改:tomcat-4 8485  8480  8409

每个一一对应

<Server port="8105" shutdown="SHUTDOWN">
<Connector port="8180" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" />
<Connector port="8109" protocol="AJP/1.3" redirectPort="8443" />

集群配置

1、修改每个tomcat实例bin目录下的 catalina.sh文件。
添加以下配置（位置大概在230到300行之间）

JAVA_OPTS="-DzkHost=119.29.181.129:2181,119.29.181.129:2182,119.29.181.129:2183"
  • JAVA_OPTS 是用来设置JVM相关运行参数的变量。此配置用于在tomcat启动时找到 zookeeper集群。
    2、配置好solrCloud相关的配置，第个solrhome下都有一个solr.xml，把IP及端口号配置好（对应的是tomcat的IP和端口）
  • /usr/local/solrhomes/solrhome-1/solr.xml
<solrcloud>
  <str name="host">119.29.181.129</str>
  <int name="hostPort">8180</int>
  <str name="hostContext">${hostContext:solr}</str>
  <int name="zkClientTimeout">${zkClientTimeout:30000}</int>
  <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
</solrcloud>
  • /usr/local/solrhomes/solrhome-2/solr.xml
<solrcloud>
  <str name="host">119.29.181.129</str>
  <int name="hostPort">8480</int>
  <str name="hostContext">${hostContext:solr}</str>
  <int name="zkClientTimeout">${zkClientTimeout:30000}</int>
  <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
</solrcloud>
  • /usr/local/solrhomes/solrhome-3/solr.xml
<solrcloud>
  <str name="host">119.29.181.129</str>
  <int name="hostPort">8480</int>
  <str name="hostContext">${hostContext:solr}</str>
  <int name="zkClientTimeout">${zkClientTimeout:30000}</int>
  <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
</solrcloud>
  • /usr/local/solrhomes/solrhome-4/solr.xml
<solrcloud>
  <str name="host">119.29.181.129</str>
  <int name="hostPort">8480</int>
  <str name="hostContext">${hostContext:solr}</str>
  <int name="zkClientTimeout">${zkClientTimeout:30000}</int>
  <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
</solrcloud>

3、让 zookeeper 统一管理配置文件。需要把 solrhome下collection1/conf 目录上传到zookeeper。上传任意 solrhome 中的配置文件即可。
这里我们需要使用到solr提供的工具上传配置文件，下载solr-4.10.3解压，进到solr-4.10.3/example/scripts/cloud-scripts目录

wget http://archive.apache.org/dist/lucene/solr/4.10.3/solr-4.10.3.tgz
tar -xzvf solr-4.10.3.taz
cd solr-4.10.3/example/scripts/cloud-scripts

执行命令

./zkcli.sh -zkhost 119.29.181.129:2181,119.29.181.129:2182,119.29.181.129:2183 -cmd upconfig -confdir /usr/local/solrhomes/solrhome-1/collection1/conf -confname myconf
参数解释
-zkhost：指定zookeeper地址列表
-cmd：指定命令。upconfig 为上传配置的命令
-confdir：配置文件所在目录
-confname：配置名称

启动集群

1、启动每个tomcat实例，要保证Zookeeper集群是启动状态。
这边需要注意一个问题，需要给solr-cloud文件夹授权，不授权的情况下不能执行启动文件。

chmod -R 777 solr-cloud

看到变成绿色即可执行
在这里插入图片描述
启动

tomcat-1/bin/startup.sh
tomcat-2/bin/startup.sh
tomcat-3/bin/startup.sh
tomcat-4/bin/startup.sh

2、访问集群
地址栏输入 http://ip:8180/solr，可以看到以下界面，就说明搭建成功。
在这里插入图片描述
此时可以看到有一个主节点，三个从节点。
在这里插入图片描述

SpringDataSolr连接SolorCloud

在SolorJ中提供一个叫做CloudSolrServer的类，它是SolrServer的子类，用于连接solrCloud 它的构造参数就是zookeeper的地址列表，另外它要求要指定defaultCollection属性（默认的 collection名称）
修改工程的Solor配置文件

<!-- solr集群服务器地址 -->
<bean id="solrServer" class="org.apache.solr.client.solrj.impl.CloudSolrServer">
	<constructor-arg value="119.29.181.129:2181,119.29.181.129:2182,119.29.181.129:2183"></constructor-arg>
	<property name="defaultCollection" value="collection1"></property>
</bean>

<!-- solr模板，使用solr模板可对索引库进行CRUD的操作 -->
<bean id="solrTemplate" class="org.springframework.data.solr.core.SolrTemplate">
	<constructor-arg ref="solrServer" />
</bean>

分片配置

1、创建新的 Collection 进行分片处理，在浏览器输入以下地址，可以按照我们的要求 创建新的Collection。

http://119.29.181.129:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

参数解释

  • name:将被创建的集合的名字
  • numShards:集合创建时需要创建逻辑碎片的个数
  • replicationFactor:分片的副本数。

看到success表示分片成功
在这里插入图片描述
在这里插入图片描述
2、删除不用的 Collection1。执行命令

http://119.29.181.129:8180/solr/admin/collections?action=DELETE&name=collection1

删除成功会看到
在这里插入图片描述

模拟集群异常测试

1、停止第一个tomcat节点，看查询是否能正常工作 – 能！因为还有从节点
2、停止第三个tomcat节点，看看查询能够正常工作 – 不能，因为整个一片数据全没了，无法正常工作。
3、恢复第三个tomcat节点，看看能否正常工作。–能！因为节点重新恢复了。

猜你喜欢

转载自blog.csdn.net/qq_22067469/article/details/84706983
今日推荐
美国拟限制 AI 大模型出口中国和俄罗斯
苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
报告：Django 仍然是 74% 开发者的首选
《2024 年一季度互联网投融资运行情况》研究报告
15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
GCC 14.1 发布
周排行
NEFU 117 素数个数的位数
Closest Common Ancestors (Lca,tarjan)
ELK部署
【转载】Hive笔记整理（三）
SQL语句（一）基本表的定义
关于Java web开发中的MySQL的事务语句
MFC创建自定义窗体
如何用一句话激怒程序员？
《逆袭大学》文摘——9.4 基础和应用的平衡中找到大学的节奏
【spring源码分析】@Value注解原理
每日归档
更多
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022