Start with a romantic story
Many years ago, a developer named Shay Banon took his new wife to live in London. After learning that his wife wanted to work as a chef, he planned to use what he learned to develop a recipe search engine for his wife. He started using one of Lucene’s Early version. But after trying, he found that it is very difficult to directly use Lucene for his wife who has no development experience, so Shay began to encapsulate Lucene. Soon he released his first Lucene-based open source project Compass written in java. Later, Shay found a job related to high performance and distributed, and found that this job had a particularly prominent demand for real-time and distributed search engines, so he decided to rewrite Compass, turning it into an independent service and taking Named Elasticsearch, and later Elasticsearch released its first public version. Since then, Elasticsearch has become one of the most active open source projects on Github. It is said that Shay's wife is still waiting for her recipe search engine, and he is already busy in a big company "out of control"...
The romantic story started the technological take-off. . .
Then someone will ask why the founder Shay uses Apache Lucene instead of developing a full-text search library by himself. For this question, I guess it is because Lucene is relatively mature, high-performance, scalable, lightweight and powerful. The Lucene kernel can be created as a single Java library file and does not rely on third-party code. Users can use the various WYSIWYG full-text search functions it provides for indexing and search operations. Of course, Lucene has many extensions, which provide various functions, such as multi-language processing, spell checking, highlighting, etc. If you don’t need these additional features, you can download a single Lucene core library file and use it directly in the application
The architecture and indexing and search process of Apache Lucene
Lucene architecture
Lucene components
The indexed document is represented by the Document object. IndexWriter adds the document to the index through the function addDocument. The process of creating an index is realized. The index of Lucene is an inverted index. When the user queries the request, Query represents the user query statement. IndexSearcher searches for Lucene IndexIndexSearcher through the function search. Term Weight and Score and the result is returned to the user. The document collection returned to the user is represented by TopDocsCollector, the index creation process is as follows
Create an IndexWriter to write the index file. It has several parameters. INDEX_DIR is the location where the index file is stored, and the Analyzer is the tokenizer used to analyze and process the document. Create a Document to represent the document we want to index. Add different Fields to the document. We know that a document has a variety of information, such as title, author, content, modification time, etc. Different types of information are represented by different fields. In this example, there are two types of information indexed, one is the file path path and the other is the file content. The SRC_FILE of FileReader indicates the source file to be indexed. IndexWriter calls the function addDocument to write the index into the index folder
The search process is as follows:
IndexReader reads the index information on the disk into the memory, and INDEX_DIR is the location where the index file is stored. Create IndexSearch ready to search. Create Analyser to perform lexical analysis and language processing on query sentences. Create QueryParser to analyze the query statement. QueryParser calls parser for grammatical analysis, forms a query syntax tree, and puts it in Query. IndexSearcher calls search to search the query syntax tree Query, and get the result TopScoreDocCollector
Elasticsearch architecture diagram and introduction
- Gateway代表ElasticSearch索引的持久化存储方式。在Gateway中，ElasticSearch默认先把索引存储在内存中，然后当内存满的时候，再持久化到Gateway里。当ES集群关闭或重启的时候，它就会从Gateway里去读取索引数据。比如LocalFileSystem和HDFS、AS3等。
- DistributedLucene Directory，它是Lucene里的一些列索引文件组成的目录。它负责管理这些索引文件。包括数据的读取、写入，以及索引的添加和合并等。
- River，代表是数据源。是以插件的形式存在于ElasticSearch中。
- Mapping，映射的意思，非常类似于静态语言中的数据类型。比如我们声明一个int类型的变量，那以后这个变量只能存储int类型的数据。比如我们声明一个double类型的mapping字段，则只能存储double类型的数据。Mapping不仅是告诉ElasticSearch，哪个字段是哪种类型。还能告诉ElasticSearch如何来索引数据，以及数据是否被索引到等。
- Index Module，Elasticsearch里的索引概念是名词而不是动词，在elasticsearch里它支持多个索引。优点类似于关系数据库里面每一个服务器可以支持多个数据库是一个道理，在每一索引下面又可以支持多种类型，这又类似于关系数据库里面的一个数据库可以有多张表一样。但是本质上和关系数据库还是有很大的区别，我们这里暂时可以这么理解
- Search Module，搜索查询模块。
- Disvcovery，主要是负责集群的master节点发现。比如某个节点突然离开或进来的情况，进行一个分片重新分片等。这里有个发现机制。发现机制默认的实现方式是单播和多播的形式，即Zen，同时也支持点对点的实现。另外一种是以插件的形式，即EC2。
- Scripting，即脚本语言。包括很多，这里不多赘述。如mvel、js、python等。
- Transport，代表ElasticSearch内部节点，代表跟集群的客户端交互。包括Thrift、Memcached、Http等协议
RESTful Style API，通过RESTful方式来实现API编程。 - 3rd plugins，代表第三方插件。
- Java(Netty)，是开发框架。
- JMX，是监控。
Elasticsearch核心概念
索引 Index
ES中的索引类似关系型数据库中的数据库，里面存放用户文档数据。因为ES是封装的Lucene，所以底层还是有Lucene的一个或者多个索引组成，数据的增删改查也是有底层的Lucene完成，ES中的分片或副本实际上就是一个Lucene索引。
文档 Document
文档是ES中存储数据的主体，ES中所有的操作都是建立在文档的基础上的，每个文档都是由各种Field组成，每个Field有一个名称和一个或多个值构成。文档展示给用户就是一个JSON对象。
类型 Type
ES中Type是一种逻辑上的概念，类似关系型数据库中的表，每个文档都属于某一种类型，如果没有定义，会有默认值，这里的类型相当于数据库当中的表，ES的每个索引可以包含多种类型。
映射 Mapping
映射类似关系型数据库中的schema，用于定义field的属性，如字段类型，是否分词等。这里有一点和关系型数据库不同的是ES会在用户没有定义字段属性的情况下，自动嗅探该字段的类型进行自动识别。
集群 Cluster
多个ES节点工作在一起组成一个集群。ES对于集群的支持几乎是无缝的，这也是ES重要的竞争优点之一。
节点 Node
一个ES实例就是一个节点，说的再简单点，一台部署了ES服务的机器就是一个节点，同时，一台机器如果硬件资源允许也可以同时启动多个ES实例。ES中每个节点都和集群（如果是多个节点的集群）中的其他节点相互通信，了解所有文档的存储位置并能转发用户的请求到对应的数据节点上。
分片 Shard
因为ES是分布式架构，类似于HDFS的存储方式，所以数据被打散存储在集群的多个节点上，一个分片实际上就是底层Lucene的一个索引，这里说的分片指的是ES中的主分片（因为还有副本分片一说），分片的方式是ES自动完成，用户可以指定分片的数量，主分片一旦指定就不能修改，因为ES打散数据的方式是和索引创建时指定的主分片数量有关（参考公式：shard = hash(routting) % number_of_primary_shards进行文档分配），后期改变会导致分片中的数据不可搜索。
副本 Replia
副本就是分片的一个拷贝，不仅能提高自身容灾，另外，请求量很大的情况下，副本可以分担主Shard压力，承担查询功能。副本个数还以在创建完索引后灵活调整。
倒排索引
ElasticSearch中一个重要的概念 ： 倒排索引（Inverted Index）也叫反向索引，有反向索引必有正向索引。通俗地来讲，正向索引是通过key找value，反向索引则是通过value找key。
首先弄懂几个概念，如果类比现代汉语词典的话，那么Term就相当于词语，Term Dictionary相当于汉语词典本身，Term Index相当于词典的目录索引，Posting List相当于词语在字典的页数集合：
- Term（单词）：一段文本经过分析器分析以后就会输出一串单词，这一个一个的就叫做Term（直译为：单词）
- Term Dictionary（单词字典）：顾名思义，它里面维护的是Term，可以理解为Term的集合
- Term Index（单词索引）：为了更快的找到某个单词，我们为单词建立索引。B-Tree通过减少磁盘寻道次数来提高查询性能，Elasticsearch也是采用同样的思路，直接通过内存查找term，不读磁盘，但是如果term太多，term dictionary也会很大，放内存不现实，于是有了Term Index，就像字典里的索引页一样，A开头的有哪些term，分别在哪页，可以理解term index是一颗树：
- Posting List（倒排列表）：倒排列表记录了出现过某个单词的所有文档的文档列表及单词在该文档中出现的位置信息，每条记录称为一个倒排项(Posting)。根据倒排列表，即可获知哪些文档包含某个单词。（PS：实际的倒排列表中并不只是存了文档ID这么简单，还有一些其它的信息，比如：词频（Term出现的次数）、偏移量（offset）等，可以想象成是Python中的元组，或者Java中的对象）
| 关系型数据库 | ElasticSearch |
|---|---|
| 数据库 | 索引 |
| 表 | 类型 |
| 行 | 文档 |
| 列 | 字段 |
正排索引: 根据文档ID查询单词
倒排索引: 根据单词查询文档ID,返回多个对应的页面.
ElasticSearch的核心就是搜索,而搜索的核心就是倒排索引。
write(写) and create(创建)操作实现原理
1）先写入buffer，在buffer里的时候数据是搜索不到的；同时将数据写入translog日志文件
2）如果buffer快满了，或者到一定时间，就会将buffer数据refresh到一个新的segment file中，但是此时数据不是直接进入segment file的磁盘文件的，而是先进入os cache的。这个过程就是refresh。每隔1秒钟，es将buffer中的数据写入一个新的segment file，每秒钟会产生一个新的磁盘文件，segment file，这个segment file中就存储最近1秒内buffer中写入的数据，但是如果buffer里面此时没有数据，那当然不会执行refresh操作咯，每秒创建换一个空的segment file，如果buffer里面有数据，默认1秒钟执行一次refresh操作，刷入一个新的segment file中，操作系统里面，磁盘文件其实都有一个东西，叫做os cache，操作系统缓存，就是说数据写入磁盘文件之前，会先进入os cache，先进入操作系统级别的一个内存缓存中去，只要buffer中的数据被refresh操作，刷入os cache中，就代表这个数据就可以被搜索到了为什么叫es是准实时的？
NRT，near real-time，准实时。默认是每隔1秒refresh一次的，所以es是准实时的，因为写入的数据1秒之后才能被看到。可以通过es的restful api或者java api，手动执行一次refresh操作，就是手动将buffer中的数据刷入os cache中，让数据立马就可以被搜索到。只要数据被输入os cache中，buffer就会被清空了，因为不需要保留buffer了，数据在translog里面已经持久化到磁盘去一份了。
3）只要数据进入os cache，此时就可以让这个segment file的数据对外提供搜索了
4）重复1~3步骤，新的数据不断进入buffer和translog，不断将buffer数据写入一个又一个新的segment file中去，每次refresh完buffer清空，translog保留。随着这个过程推进，translog会变得越来越大。当translog达到一定长度的时候，就会触发commit操作。buffer中的数据，倒是好，每隔1秒就被刷到os cache中去，然后这个buffer就被清空了。所以说这个buffer的数据始终是可以保持住不会填满es进程的内存的。每次一条数据写入buffer，同时会写入一条日志到translog日志文件中去，所以这个translog日志文件是不断变大的，当translog日志文件大到一定程度的时候，就会执行commit操作。
5）commit操作发生第一步，就是将buffer中现有数据refresh到os cache中去，清空buffer6）将一个commit point写入磁盘文件，里面标识着这个commit point对应的所有segment file
7）强行将os cache中目前所有的数据都fsync到磁盘文件中去ranslog日志文件的作用是什么？就是在你执行commit操作之前，数据要么是停留在buffer中，要么是停留在os cache中，无论是buffer还是os cache都是内存，一旦这台机器死了，内存中的数据就全丢了。所以需要将数据对应的操作写入一个专门的日志文件，translog日志文件中，一旦此时机器宕机，再次重启的时候，es会自动读取translog日志文件中的数据，恢复到内存buffer和os cache中去。
8）将现有的translog清空，然后再次重启启用一个translog，此时commit操作完成。默认每隔30分钟会自动执行一次commit，但是如果translog过大，也会触发commit。整个commit的过程，叫做flush操作。我们可以手动执行flush操作，就是将所有os cache数据刷到磁盘文件中去。不叫做commit操作，flush操作。es中的flush操作，就对应着commit的全过程。我们也可以通过es api，手动执行flush操作，手动将os cache中的数据fsync强刷到磁盘上去，记录一个commit point，清空translog日志文件。
9）translog其实也是先写入os cache的，默认每隔5秒刷一次到磁盘中去，所以默认情况下，可能有5秒的数据会仅仅停留在buffer或者translog文件的os cache中，如果此时机器挂了，会丢失5秒钟的数据。但是这样性能比较好，最多丢5秒的数据。也可以将translog设置成每次写操作必须是直接fsync到磁盘，但是性能会差很多。
10）buffer每次refresh一次，就会产生一个segment file，所以默认情况下是1秒钟一个segment file，segment file会越来越多，此时会定期执行merge11）每次merge的时候，会将多个segment file合并成一个，同时这里会将标识为deleted的doc给物理删除掉，然后将新的segment file写入磁盘，这里会写一个commit point，标识所有新的segment file，然后打开segment file供搜索使用，同时删除旧的segment file。Update和Delete实现原理删除和更新操作也是写操作。但是，Elasticsearch中的文档是不可变的(immutable)，因此不能删除或修改。那么，如何删除/更新文档呢？磁盘上的每个分段(segment)都有一个.del文件与它相关联。当发送删除请求时，该文档未被真正删除，而是在.del文件中标记为已删除。此文档可能仍然能被搜索到，但会从结果中过滤掉。当分段合并时（我们将在后续的帖子中包括段合并），在.del文件中标记为已删除的文档不会被包括在新的合并段中。现在，我们来看看更新是如何工作的。创建新文档时，Elasticsearch将为该文档分配一个版本号。对文档的每次更改都会产生一个新的版本号。当执行更新时，旧版本在.del文件中被标记为已删除，并且新版本在新的分段中编入索引。旧版本可能仍然与搜索查询匹配，但是从结果中将其过滤掉。
Read：查询阶段(Query Phase)下面是详细流程图
简单描述：
查询，GET某一条数据，写入了某个document，这个document会自动给你分配一个全局唯一的id，doc id，同时也是根据doc id进行hash路由到对应的primary shard上面去。也可以手动指定doc id，比如用订单id，用户id。你可以通过doc id来查询，会根据doc id进行hash，判断出来当时把doc id分配到了哪个shard上面去，从那个shard去查询：
1）客户端发送请求到任意一个node，成为coordinate node
2）coordinate node对document进行路由，将请求转发到对应的node，此时会使用round-robin随机轮询算法，在primary shard以及其所有replica中随机选择一个，让读请求负载均衡
3）接收请求的node返回document给coordinate node
4）coordinate node返回document给客户端
es 搜索数据过程(底层倒排索引)
1）客户端发送请求到一个coordinate node
2）协调节点将搜索请求转发到所有的shard对应的primary shard或replica shard也可以
3）query phase：每个shard将自己的搜索结果（其实就是一些doc id），返回给协调节点，由协调节点进行数据的合并、排序、分页等操作，产出最终结果
4）fetch phase：接着由协调节点，根据doc id去各个节点上拉取实际的document数据，最终返回给客户端
參考資料：
「1」https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_9176382130971232748%22%7D&n_type=1&p_from=3
「2」https://blog.csdn.net/GoSaint/article/details/89947797
「3」https://blog.csdn.net/moshowgame/article/details/99413448
Kotlin开发者社区
专注分享 Java、 Kotlin、Spring/Spring Boot、MySQL、redis、neo4j、NoSQL、Android、JavaScript、React、Node、函数式编程、编程思想、"高可用，高性能，高实时"大型分布式系统架构设计主题。
High availability, high performance, high real-time large-scale distributed system architecture design。
分布式框架：Zookeeper、分布式中间件框架等
分布式存储：GridFS、FastDFS、TFS、MemCache、redis等
分布式数据库：Cobar、tddl、Amoeba、Mycat
云计算、大数据、AI算法
虚拟化、云原生技术
分布式计算框架：MapReduce、Hadoop、Storm、Flink等
分布式通信机制：Dubbo、RPC调用、共享远程数据、消息队列等
消息队列MQ：Kafka、MetaQ，RocketMQ
怎样打造高可用系统：基于硬件、软件中间件、系统架构等一些典型方案的实现：HAProxy、基于Corosync+Pacemaker的高可用集群套件中间件系统
Mycat架构分布式演进
大数据Join背后的难题：数据、网络、内存和计算能力的矛盾和调和
Java分布式系统中的高性能难题：AIO，NIO，Netty还是自己开发框架？
高性能事件派发机制：线程池模型、Disruptor模型等等。。。
合抱之木，生于毫末；九层之台，起于垒土；千里之行，始于足下。不积跬步，无以至千里；不积小流，无以成江河。
Kotlin 简介
Kotlin是一门非研究性的语言，它是一门非常务实的工业级编程语言，它的使命就是帮助程序员们解决实际工程实践中的问题。使用Kotlin 让 Java程序员们的生活变得更好，Java中的那些空指针错误，浪费时间的冗长的样板代码，啰嗦的语法限制等等，在Kotlin中统统消失。Kotlin 简单务实，语法简洁而强大，安全且表达力强，极富生产力。
Java诞生于1995年，至今已有23年历史。当前最新版本是 Java 9。在 JVM 生态不断发展繁荣的过程中，也诞生了Scala、Groovy、Clojure 等兄弟语言。
Kotlin 也正是 JVM 家族中的优秀一员。Kotlin是一种现代语言（版本1.0于2016年2月发布）。它最初的目的是像Scala那样，优化Java语言的缺陷，提供更加简单实用的编程语言特性，并且解决了性能上的问题，比如编译时间。 JetBrains在这些方面做得非常出色。
Kotlin语言的特性
用 Java 开发多年以后，能够尝试一些新的东西真是太棒了。如果您是 Java 开发人员，使用 Kotlin 将会非常自然流畅。如果你是一个Swift开发者，你将会感到似曾相识，比如可空性（Nullability）。 Kotlin语言的特性有：
1.简洁
大幅减少样板代码量。
2.与Java的100%互操作性
Kotlin可以直接与Java类交互，反之亦然。这个特性使得我们可以直接重用我们的代码库，并将其迁移到 Kotlin中。由于Java的互操作性几乎无处不在。我们可以直接访问平台API以及现有的代码库，同时仍然享受和使用 Kotlin 的所有强大的现代语言功能。
3.扩展函数
Kotlin 类似于 C# 和 Gosu, 它提供了为现有类提供新功能扩展的能力，而不必从该类继承或使用任何类型的设计模式 (如装饰器模式)。
4.函数式编程
Kotlin 语言一等支持函数式编程，就像Scala一样。具备高阶函数、Lambda 表达式等函数式基本特性。
5.默认和命名参数
在Kotlin中，您可以为函数中的参数设置一个默认值，并给每个参数一个名称。这有助于编写易读的代码。
6.强大的开发工具支持
而由于是JetBrains出品，我们拥有很棒的IDE支持。虽然Java到Kotlin的自动转换并不是100% OK 的，但它确实是一个非常好的工具。使用 IDEA 的工具转换Java代码为 Kotlin 代码时，可以轻松地重用60％-70％的结果代码，而且修改成本很小。
Kotlin 除了简洁强大的语法特性外，还有实用性非常强的API以及围绕它构建的生态系统。例如：集合类 API、IO 扩展类、反射API 等。同时 Kotlin 社区也提供了丰富的文档和大量的学习资料，还有在线REPL。
A modern programming language that makes developers happier. Open source forever