大数据和云计算技术周报（第87期)

大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：ES、聚类、调度、Hbase、搜索排序、flink、MongoDB、Redis。全是干货，希望大家喜欢！！！

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学，在技术的道路上一定会日益精进！感谢编辑们的长期坚持！也请同学们继续打赏，支持社区，支持编辑们持续奉献高质量知识！

#大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学，欢迎扫描文末二维码联系（参与社区工作，收获知识和进步，还有红包哦）。

特别提醒，文末有惊喜！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。（如果链接不能点开请用二维码谢谢）

１Titan

在大 value 的场景下，Titan 会比 RocksDB 拥有更好的写、更新和点读性能。同时，Titan 的范围查询性能和空间放大都逊于 RocksDB 。

https://mp.weixin.qq.com/s/MYUof5t0hAnVkP9P1T1-Qg

640?wx_fmt=png

2流存储

当前的大数据处理系统无论是何种架构都面临一个共同的问题，即：“计算是原生的流计算，而存储却不是原生的流存储” 。Pravega 团队重新思考了这一基本的数据处理和存储规则，为这一场景重新设计了一种新的存储类型，即原生的流存储。

https://mp.weixin.qq.com/s/4h7JDItBFhWkEex6eeaJTg

640?wx_fmt=png

3Spark

大家在使用 Apache Spark 2.x 的时候可能会遇到这种现象：虽然我们的 SparkJobs 已经全部完成了，但是我们的程序却还在执行。比如我们使用 Spark SQL 去执行一些 SQL，这个 SQL 在最后生成了大量的文件。然后我们可以看到，这个 SQL 所有的 Spark Jobs 其实已经运行完成了，但是这个查询语句还在运行。通过日志，我们可以看到 driver 节点正在一个一个地将 tasks 生成的文件移动到最终表的目录下面，当我们作业生成的文件很多的情况下，就很容易产生这种现象。本文将给大家介绍一种方法来解决这个问题。

https://www.iteblog.com/archives/2500.html

640?wx_fmt=png

4HBase

本文对HBase:meta表进行了详细讲解，讲的很清楚，推荐给大家。

https://cloud.tencent.com/developer/article/1032480

640?wx_fmt=png

5AI

图学习和深度学习都是人工智能的一个分支，作为阿里巴巴旗下的大数据营销平台，阿里妈妈创新性地将图学习与深度学习进行结合，推出了Euler，可帮助大幅度提升营销效率。Euler已在阿里妈妈核心业务场景进行了锤炼和验证，同时，在金融、电信、医疗等涉及到复杂网络分析的场景中也具有很高的应用价值。

https://mp.weixin.qq.com/s/CXFgrLbjgCno0H74rtTSuQ

640?wx_fmt=png

6 Spark

大数据和人工智能是紧密相连的:最好的人工智能应用需要大量不断更新的训练数据来构建最先进的模型。人工智能一直是大数据最令人兴奋的应用之一。Hydrogen是Apache Spark的一个主要项目，旨在将最好的人工智能和大数据解决方案结合在一起。在Spark 2.4.0版本中引入barrier执行模式，帮助分布式模型训练，探索优化数据交换，加速分布式模型推理。

https://tech.meituan.com/2019/01/17/dianping-search-deeplearning.html

7网络协议

详细介绍了为什么握手是3次挥手是四次，对于理解网络协议有很大帮助

https://mp.weixin.qq.com/s/rSfR0zCRmYXZIiLU-XgzSA

640?wx_fmt=png