1.基本概念

1.1 常用的全文搜索框架

       1、Lucene
           Apache下面的一个开源项目，高性能的、可扩展的工具库，提供搜索的基本架构；
           如果开发人员需用使用的话，需用自己进行开发,成本比较大，但是性能高

       2、solr
           Solr基于Lucene的全文搜索框架，提供了比Lucene更为丰富的功能，
           同时实现了可配置、可扩展并对查询性能进行了优化
           建立索引时，搜索效率下降，实时索引搜索效率不高
           数据量的增加，Solr的搜索效率会变得更低,适合小的搜索应用，对应java客户端的是solrj

       3、elasticSearch
           基于Lucene的搜索框架, 它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口
           上手容易，拓展节点方便，可用于存储和检索海量数据，接近实时搜索，海量数据量增加，搜索响应性能几乎不受影响；
           分布式搜索框架，自动发现节点，副本机制，保障可用性

1.2 基本介绍

Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。 Lucene 可以说是当下最先进、高性能、全功能的搜索引擎库--无论是开源还是私有。

但是 Lucene 仅仅只是一个库。为了充分发挥其功能，你需要使用 Java 并将 Lucene 直接集成到应用程序中。更糟糕的是，您可能需要获得信息检索学位才能了解其工作原理。Lucene 非常复杂。

Elasticsearch 也是使用 Java 编写的，它的内部使用 Lucene 做索引与搜索，但是它的目的是使全文检索变得简单，通过隐藏 Lucene 的复杂性，取而代之的提供一套简单一致的 RESTful API。

然而，Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎。它可以被下面这样准确的形容：

一个分布式的实时文档存储，每个字段 可以被索引与搜索
一个分布式实时分析搜索引擎
能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据

Elasticsearch 将所有的功能打包成一个单独的服务，这样你可以通过程序与它提供的简单的 RESTful API 进行通信，可以使用自己喜欢的编程语言充当 web 客户端，甚至可以使用命令行（去充当这个客户端）。

1.3 ElasticSearch的一些特性和概念

近实时性(Near Realtime[NRT])

Elasticsearch是一个近实时的搜索平台。这意味着当你导入一个文档并把它变成可搜索的时间仅会有轻微的延时。

集群(Cluster)

一个集群是由一个或多个节点(服务器)组成的，通过所有的节点一起保存你的全部数据并且提供联合索引和搜索功能的节点集合。每个集群有一个唯一的名称标识，默认是“elasticsearch”。这个名称非常重要，因为一个节点(Node)只有设置了这个名称才能加入集群，成为集群的一部分。

确保你没有在不同的环境下重用相同的名称，否则你最终可能会将节点加入错误的集群。例如你可以使用logging-dev，logging-stage和logging-prod来分别给开发，展示和生产集群命名。

注意，一个集群中只有一个节点是有效的并且是非常好的。所以这样的话，你可能需要部署多个集群并且每个集群有它们唯一的集群名称。

节点(Node)

一个节点是一个单一的服务器，是你的集群的一部分，存储数据，并且参与集群的索引和搜索功能。跟集群一样，节点在启动时也会被分配一个唯一的标识名称，这个名称默认是一个随机的UUID(Universally Unique IDentifier)。如果你不想用默认的名称，你可以自己定义节点的名称。这个名称对于管理集群节点，识别哪台服务器对应集群中的哪个节点有重要的作用。

一个节点可以通过配置特定的集群名称来加入特定的集群。默认情况下，每个节点被设定加入一个名称为“elasticsearch”的集群，这意味着如果你在你的网络中启动了一些节点，并且假设它们能相互发现，它们将会自动组织并加入一个名称是“elasticsearch”的集群。

在一个集群中，你想启动多少节点就可以启动多少节点。此外，如果没有其它节点运行在当前网络中，只启动一个节点将默认形成一个新的名称为“elasticsearch”单节点集群。

索引(Index)

一个索引就是含有某些相似特性的文档的集合。例如，你可以有一个用户数据的索引，一个产品目录的索引，还有其他的有规则数据的索引。一个索引被一个名称(必须都是小写)唯一标识，并且这个名称被用于索引通过文档去执行索引，搜索，更新和删除操作。

在一个集群中，你可以根据自己的需求定义任意多的索引。

类型(Type)[Deprecated in 6.0.0.]
警告！Type在6.0.0版本中已经不赞成使用

一个类型是你的索引中的一个分类或者说是一个分区，它可以让你在同一索引中存储不同类型的文档，例如，为用户建一个类型，为博客文章建另一个类型。现在已不可能在同一个索引中创建多个类型，并且整个类型的概念将会在未来的版本中移除。查看“映射类型的移除[https://www.elastic.co/guide/en/elasticsearch/reference/current/removal-of-types.html]”了解更多。

文档(Document)

一个文档是一个可被索引的数据的基础单元。例如，你可以给一个单独的用户创建一个文档，给单个产品创建一个文档，以及其他的单独的规则。这个文档用JSON格式表现，JSON是一种普遍的网络数据交换格式。

在一个索引或类型中，你可以根据自己的需求存储任意多的文档。注意，虽然一个文档在物理存储上属于一个索引，但是文档实际上必须指定一个在索引中的类型。

分片和复制(Shards & Replicas)

我们在一个索引里存储的数据，潜在的情况下可能会超过单节点硬件的存储限制。例如，单个索引有上千万个文档需要占用1TB的硬盘存储空间，但是一台机器的硬盘可能没有这么大，或者是即便有这么大，但是单个节点在提供搜索服务时会响应缓慢。

为了解决这个问题，Elasticsearch提供了分片的能力，它可以将你的索引细分成多个部分。当你创建一个索引的时候，你可以简单的定义你想要的分片的数量。每个分片本身是一个全功能的完全独立的“索引”，它可以部署在集群中的任何节点上。

分片对于以下两个主要原因很重要：

它允许你水平切分你的内容卷
它允许你通过分片来分布和并行化执行操作来应对日益增长的执行量

一个分片是如何被分配以及文档又是如何被聚集起来以应对搜索请求的，它的实现技术由Elasticsearch完全管理，并且对用户是透明的。

在一个网络环境下或者是云环境下，故障可能会随时发生，有一个故障恢复机制是非常有用并且是高度推荐的，以防一个分片或节点不明原因下线，或者因为一些原因去除没有了。为了达到这个目的，Elasticsearch允许你制作分片的一个或多个拷贝放入一个叫做复制分片或短暂复制品中。

复制对于以下两个主要原因很重要：

高可用。它提供了高可用来以防分片或节点宕机。为此，一个非常重要的注意点是绝对不要将一个分片的拷贝放在跟这个分片相同的机器上。
高并发。它允许你的分片可以提供超出自身吞吐量的搜索服务，搜索行为可以在分片所有的拷贝中并行执行。

总结一下，每个索引可以被切分成多个分片，一个索引可以被复制零次(就是没有复制)或多次。一旦被复制，每个索引将会有一些主分片(就是那些最原始不是被复制出来的分片)，还有一些复制分片(就是那些通过复制主分片得到的分片)。

主分片和复制分片的数量可以在索引被创建时指定。索引被创建后，你可以随时动态修改复制分片的数量，但是不能修改主分片的数量。

默认情况下，在Elasticsearch中的每个索引被分配5个主分片和一份拷贝，这意味着假设你的集群中至少有两个节点，你的索引将会有5个主分片和5个复制分片(每个主分片对应一个复制分片，5个复制分片组成一个完整拷贝)，总共每个索引有10个分片。

每个Elasticsearch分片是一个Lucene索引。在一个Lucene索引中有一个文档数量的最大值。截至LUCENE-5843，这个限制是2,147,483,519 (= Integer.MAX_VALUE - 128)个文档。你可以使用_cat/shards API监控分片大小。

1.4 使用场景

日志搜索，数据聚合，数据监控，报表统计分析，站内搜索（电商，招聘，门户，等等），IT系统搜索（OA，CRM，ERP，等等），数据分析。

2 安装ElasticSearch

1.安装jdk8（6.4的版本要求JDK1.8）

2.下载安装包

可以去官网（https://www.elastic.co/downloads）去也可以在在线下

Elasticsearch以以下包格式提供：

ZIP / tar.gz的

zip和tar.gz软件包适合在任何系统上安装，是大多数系统上Elasticsearch入门的最简单选择。

在Windows上使用.zip安装Elasticsearch

DEB
deb包适用于Debian，Ubuntu和其他基于Debian的系统。 Debian软件包可以从Elasticsearch网站或我们的Debian存储库下载。

使用wget 下载elasticsearch安装包
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz
解压
tar -zxvf elasticsearch-6.4.0.tar.gz

3. 启动

进入bin目录，在Linux系统中，./elasticsearch

4.检查Elasticsearch是否正在运行

您可以通过向localhost上的端口9200发送HTTP请求来测试您的Elasticsearch节点是否正在运行：

http://localhost:9200/

{
"name" : "JtZZuj7",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "CouH1JqMSeqPKwoAbl4qTQ",
"version" : {
    "number" : "6.4.0",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "595516e",
    "build_date" : "2018-08-17T23:18:47.308994Z",
    "build_snapshot" : false,
    "lucene_version" : "7.4.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
},
"tagline" : "You Know, for Search"
}

配置es出现相关问题处理：
1、问题一

  Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000, 986513408, 0) failed; error='Cannot allocate memory' (errno=12)
            #
            # There is insufficient memory for the Java Runtime Environment to continue.
            # Native memory allocation (mmap) failed to map 986513408 bytes for committing reserved memory.
            # An error report file with more information is saved as:
            # /usr/local/software/temp/elasticsearch-6.2.2/hs_err_pid1912.log

解决：内存不够，购买阿里云的机器可以动态增加内存

       2、问题二
       解决：用非root用户
        添加用户：useradd -m 用户名然后设置密码 passwd 用户名

3、问题三
./elasticsearch

  Exception in thread "main" java.nio.file.AccessDeniedException: /usr/local/software/temp/elasticsearch-6.2.2/config/jvm.options

解决：权限不够 chmod 777 -R 当前es目录

官方文档：

https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

ElasticSearch入门（一）