一.背景介绍
1.问题引入:搜索所有天安门相关的内容,大数据量的判断,加索引orm,歌词怎么做?等等问题,大公司上亿条数据怎样开发处理日志?
2.ELK框架,目前先学习E(elasticsearch)
3.Apache是http服务器,美国人发明的,Apache火起来之后,产生了雅加达系列项目,其中就有Tomcat,雅加达目前停止了,原因是子项目都独立出来了.
4.雅加达独立出来的项目,Tomcat,lucene,elasticsearch就是将lucene封装了一层.
5.lucene可以被认为是迄今为止最先进,性能最好,功能最全的搜索引擎库,可惜只是一个库,比较复杂
6.因此我们需要安装java的jdk虚拟机等等
7.elasticsearch天生就是分布式的搜索引擎.,接近实时的搜索
8.有了分布式必然就有高可用,原因是存储的数据量比较大,需要备份数据
9.elasticsearch的缺点:(1)不支持事物(2)相对吃内存
原因:lucene吃内存,所以elasticsearch吃内存.
10.elasticsearch主要用途:做搜索
(1)分布式的实时文件存储,每个字段都被索引并可被搜索
(2)分布式的实时分析搜索引擎
(3)可以扩展到上百台服务器,处理PB级结构化或非结构化数据(文件存储)
11.接口当然选择python
12.开发人Shay Banon,这个elasticsearch天生就是处在高性能和存储数据网格的分布式环境中,因此天生高性能,实时,分布式
13.elasticsearch最早出来是在2010年2月,开源的
14.云计算市场亚马逊,微软,阿里云(打包产品)
15.mongodb是面向文档型的数据库,elasticsearch也是面向文档型的,
文档型的优点:搜索快.没有表关系,与实体相关的都写在文档中,一篇文档就是一个实体.
因为是文档可以是多层次的,文档鼓励你属于一个逻辑实体的数据保存在同一个文档中
mysql优化:少做连表查询
16.百度上解释elasticsearch是一个基于Lucene的搜索服务器.
17.应用案例:苏宁,github,维基百科,苏宁,腾讯PB级别100W/S,字节跳动,站内检索,百度就是,日志分析比较多
18.框架自动处理,主要核心es存储数据分析数据,logstash导入数据,kibana用于查询(图形可视化)
19.主要学习核心:elasticsearch,搜索
20.一个lucene索引也就是一个(elasticsearch)分片,不能处理多于21亿篇文档,或者多于2740亿的唯一词条,超过我们就没有磁盘了.
21.学习外国语言的最好办法就是有个外国的女朋友