solrcloud,tomcat,zookeeper安装配置

企业开发 2018-05-12 13:43:17 阅读次数: 4

之前由于在项目中使用的solr3.6，服务器总是莫名其妙的挂掉，各种解决未果，于是尝试换到solr4，想试试solrcloud和zookeeper集群看看效果怎么样，实际效果比3.6稳定很多，下面说一下项目中我们的具体现在一个测试的配置。 我们配置3台zookper服务器和3台solr服务器，由于没有多台机器测试，zookeeper的集群都在一台服务器上，tomcat部署在3台服务器上。

zookeeper是什么

ZooKeeper 顾名思义 动物园管理员，他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig)  的管理员， Apache Hbase和 Apache Solr 以及LinkedIn sensei  等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，ZooKeeper是以Fast Paxos算法为基础，实现同步服务，配置维护和命名服务等分布式应用。

zookeeper安装及配置

zookeeper下载

zookeeper配置

---------------
首先先把/etc/hosts下的主机名映射127.0.1.1改成127.0.0.1。
---------------
（1）解压为zookeeper
[plain]  view plain copy
 
  1. tar -xf -C /home/myuser/zookeeper/  
复制zookeeper文件夹3份，分别重名名为zookeeperA，zookeeperB，zookeeperC。
并且创建数据快照以及日志存放文件夹，命名为zooA，zooB，zooC。
（2）编辑对应的zookeeper配置文件，复制zookeeperconf下zoo_sample.cfg为zoo.cfg
[plain]  view plain copy
 
  1. cd /home/myuser/zookeeperA/conf  
  2. cp zoo_sample.cfg zoo.cfg     
（3）修改zoo.cfg
[html]  view plain copy
 
  1. # The number of milliseconds of each tick  
  2. tickTime=2000  
  3. # The number of ticks that the initial   
  4. # synchronization phase can take  
  5. initLimit=10  
  6. # The number of ticks that can pass between   
  7. # sending a request and getting an acknowledgement  
  8. syncLimit=5  
  9. # the directory where the snapshot is stored.  
  10. # do not use /tmp for storage, /tmp here is just   
  11. # example sakes.  
  12. dataDir=/home/myuser/zooA/data  
  13. # the port at which the clients will connect  
  14. clientPort=2181  
  15. # ZooKeeper server and its port no. # ZooKeeper ensemble should know about every other machine in the ensemble # specify server id by creating 'myid' file in the dataDir # use hostname instead of IP address for convenient maintenance   
  16. server.1=127.0.0.1:2888:3888  
  17. server.2=127.0.0.1:2988:3988   
  18. server.3=127.0.0.1:2088:3088  
  19. #  
  20. # Be sure to read the maintenance section of the   
  21. # administrator guide before turning on autopurge.  
  22. #  
  23. # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance  
  24. #  
  25. # The number of snapshots to retain in dataDir  
  26. #autopurge.snapRetainCount=3  
  27. # Purge task interval in hours  
  28. # Set to "0" to disable auto purge feature  
  29. #autopurge.purgeInterval=1  
  30. dataLogDir=/home/myuser/zooA/log  
tickTime：心跳时间，为了确保连接存在的，以毫秒为单位，最小超时时间为两个心跳时间
initLimit：多少个心跳时间内，允许其他server连接并初始化数据，如果ZooKeeper管理的数据较大，则应相应增大这个值
clientPort：服务的监听端口
dataDir：用于存放内存数据库快照的文件夹，同时用于集群的myid文件也存在这个文件夹里（注意：一个配置文件只能包含一个dataDir字样，即使它被注释掉了。）
dataLogDir：用于单独设置transaction log的目录，transaction log分离可以避免和普通log还有快照的竞争
syncLimit：多少个tickTime内，允许follower同步，如果follower落后太多，则会被丢弃。
（4）创建myid文件
[plain]  view plain copy
 
  1. cd /home/myuser/zooA/data  
  2. sudo sh -c 'echo "1" >> myid'    
其他文件夹类似创建myid文件，zookeeperB为2，zookeeperC为3
（5）启动zookeeper
[plain]  view plain copy
 
  1. cd /home/myuser/zookeeperA/bin  
  2. sudo sh  zkServer.sh start  
查看zookeeper状态
[plain]  view plain copy
 
  1. [root@weibo bin]# sh zkServer.sh status  
  2. JMX enabled by default  
  3. Using config: /home/weibo/zookeeperA/bin/../conf/zoo.cfg  
  4. Mode: follower  
启动OK，依次启动另外两台zookeeper，启动第一台zookeeper后，你可以观察bin下的zookeeper.out可以看到报错，connection refused，没有关系，zookeeper需要等待其他另个节点的加入，全部启动之后就正常了。
（6）客户端连接zookeeper
[plain]  view plain copy
 
  1. [root@weibo bin]# sh zkCli.sh   
  2. Connecting to localhost:2181  
  3. 2013-05-10 15:00:25,363 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.5-1392090, built on 09/30/2012 17:52 GMT  
  4. 2013-05-10 15:00:25,369 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=localhost  
  5. 2013-05-10 15:00:25,370 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.6.0_33  
  6. 2013-05-10 15:00:25,371 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Sun Microsystems Inc.  
  7. 2013-05-10 15:00:25,372 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/home/weibo/jdk1.6.0_33/jre  
  8. 2013-05-10 15:00:25,373 [myid:] - INFO  [main:Environment@100] - Client environment:java.class.path=/home/weibo/zookeeperA/bin/../build/classes:/home/weibo/zookeeperA/bin/../build/lib/*.jar:/home/weibo/zookeeperA/bin/../lib/slf4j-log4j12-1.6.1.jar:/home/weibo/zookeeperA/bin/../lib/slf4j-api-1.6.1.jar:/home/weibo/zookeeperA/bin/../lib/netty-3.2.2.Final.jar:/home/weibo/zookeeperA/bin/../lib/log4j-1.2.15.jar:/home/weibo/zookeeperA/bin/../lib/jline-0.9.94.jar:/home/weibo/zookeeperA/bin/../zookeeper-3.4.5.jar:/home/weibo/zookeeperA/bin/../src/java/lib/*.jar:/home/weibo/zookeeperA/bin/../conf:/home/weibo/jdk1.6.0_33/lib:.  
  9. 2013-05-10 15:00:25,373 [myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=/home/weibo/jdk1.6.0_33/jre/lib/amd64/server:/home/weibo/jdk1.6.0_33/jre/lib/amd64:/home/weibo/jdk1.6.0_33/jre/../lib/amd64:/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib  
  10. 2013-05-10 15:00:25,374 [myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir=/tmp  
  11. 2013-05-10 15:00:25,375 [myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>  
  12. 2013-05-10 15:00:25,375 [myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux  
  13. 2013-05-10 15:00:25,376 [myid:] - INFO  [main:Environment@100] - Client environment:os.arch=amd64  
  14. 2013-05-10 15:00:25,377 [myid:] - INFO  [main:Environment@100] - Client environment:os.version=2.6.32-279.5.2.el6.x86_64  
  15. 2013-05-10 15:00:25,377 [myid:] - INFO  [main:Environment@100] - Client environment:user.name=root  
  16. 2013-05-10 15:00:25,378 [myid:] - INFO  [main:Environment@100] - Client environment:user.home=/root  
  17. 2013-05-10 15:00:25,379 [myid:] - INFO  [main:Environment@100] - Client environment:user.dir=/home/weibo/zookeeperA/bin  
  18. 2013-05-10 15:00:25,382 [myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=localhost:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@9d04653  
  19. Welcome to ZooKeeper!  
  20. 2013-05-10 15:00:25,604 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@966] - Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (无法定位登录配置)  
  21. JLine support is enabled  
  22. 2013-05-10 15:00:25,649 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@849] - Socket connection established to localhost/127.0.0.1:2181, initiating session  
  23. 2013-05-10 15:00:25,842 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1207] - Session establishment complete on server localhost/127.0.0.1:2181, sessionid = 0x13e7e067764005d, negotiated timeout = 30000  
  24.   
  25. WATCHER::  
  26.   
  27. WatchedEvent state:SyncConnected type:None path:null  
  28. [zk: localhost:2181(CONNECTED) 0] ls /  
  29. [configs, zookeeper, clusterstate.json, aliases.json, live_nodes, overseer, overseer_elect, collections]  
  30. [zk: localhost:2181(CONNECTED) 1]   
configs：保存上传的配置文件信息
clusterstate.json：集群状态json
aliases：别名json
live_node：当solr服务器启动的时候，会注册到这里
overseer：保存shard信息
overseer_elect：节点选举
collections：所有的collection
 

Solr及Tomcat安装配置

（1）下载solr4.2，把solr-4.2.1\example\solr\collection1\conf 目录下的配置文件上传的zookeeper
（2）上传solr配置文件到zookeeper
[plain]  view plain copy
 
  1. java -classpath .:/home/weibo/tomcat_solr_qq/webapps/solr/WEB-INF/lib/* org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost 127.0.0.1:2181,127.0.0.1:2281,127.0.0.1:2381 -confdir /home/weibo/solr-config -confname weiboconfig  
（3）把配置文件和目标collection联系起来
[plain]  view plain copy
 
  1. java -classpath .:/home/weibo/tomcat_solr_qq/webapps/solr/WEB-INF/lib/* org.apache.solr.cloud.ZkCLI -cmd linkconfig -collection weibocollection -confname weiboconfig -zkhost 127.0.0.1:2181,127.0.0.1:2281,127.0.0.1:2381  
（4）复制3个tomcat，在conf/Catalina/localhost创建solr.xml（如果目录不存在，请自行创建），内容如下
[plain]  view plain copy
 
  1. <?xml version="1.0" encoding="utf-8"?>  
  2. <Context docBase="/home/weibo/solr-qq/solr.war" debug="0" corssContext="false" >  
  3.         <Environment name="solr/home" type="java.lang.String" value="/home/weibo/solr-qq/" override="true"/>  
  4. </Context>  
crossContext不能设置为true，这里注意
（5）在你的solr home目录创建solr.xml
[plain]  view plain copy
 
  1. <?xml version="1.0" encoding="UTF-8" ?>  
  2. <solr persistent="true">  
  3.   <cores adminPath="/admin/cores" zkClientTimeout="20000" hostPort="8080">  
  4.   </cores>  
  5. </solr>  
其他tomcat对应设置对应的端口号
（6）编辑tomcat bin/catalina.sh（windows下catalina.bat），加入
[plain]  view plain copy
 
  1. JAVA_OPTS='-DzkHost=127.0.0.1:2181,127.0.0.1:2281,127.0.0.1:2381'  
这里就是solr和zookeeper交互的地方了
（7）依次启动tomcat，创建core及shard，访问solr
----------------------------------这里由于为了测试简单，我只创建了一个主节点，没有replica节点，如果你需要，请跳过这一步，直接看下面的collection配置-----------------
[plain]  view plain copy
 
  1. http://localhost:8080/solr/admin/collections?action=CREATE&name=weibocollection&numShards=3&replicationFactor=1  

Collection,Shard,Replication,Core配置

首先，我们创建一个collection，并且指明它的replica的个数，shard的个数
[plain]  view plain copy
 
  1. http://localhost:8080/solr/admin/collections?action=CREATE&name=weibocollection&numShards=3&replicationFactor=3&maxShardsPerNode=3  
由于solr4.2会自动创建replication，所以这里不用手动去创建replication了已经。

Last

由于zookeeper是过半存活，所以由于我这里使用的是3台zookeeper，所以最大可以死掉1台，还能继续工作，官方推荐使用奇数台服务器。

猜你喜欢

转载自luoqingping-1986.iteye.com/blog/1901824
今日推荐
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
周排行
循环神经网络（rnn）讲解
Tigao教程四：单独的关节运动
金蝶K3WISE15.0-注册套打教程
如何在Mac上配置Kubernetes
Android应用结束自身进程的方法
SpringMVC学习 十三 拦截器栈
中国驻洛杉矶总领馆举行新春招待会
HttpClient get post 发送
11 - three.js 笔记 - 绘制三维字体模型
Mysql递归获取某个父节点下面的所有子节点和子节点上的所有父节点
每日归档
更多
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)
2024-04-22(39)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022