大数据和云计算技术周报（第86期)

大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：ES、聚类、调度、Hbase、搜索排序、flink、MongoDB、Redis。全是干货，希望大家喜欢！！！

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学，在技术的道路上一定会日益精进！感谢编辑们的长期坚持！也请同学们继续打赏，支持社区，支持编辑们持续奉献高质量知识！

#大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学，欢迎扫描文末二维码联系（参与社区工作，收获知识和进步，还有红包哦）。

特别提醒，文末有惊喜！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。（如果链接不能点开请用二维码谢谢）

１MongoDB

又要赚钱，又要开源，有点矛盾。

https://mp.weixin.qq.com/s/pzMiKEqHzxCucOW2GT1ZBA

640?wx_fmt=png

2ES

京东到家近几年业务的快速发展，本文主要介绍了订单中心 ES 架设方案也不断演进，及在此过程中踩过的坑。

https://mp.weixin.qq.com/s/n8ZfAabQ2lmcSExXrgjpuw

640?wx_fmt=png

3MongoDB

本文讲述了MongoDB Stitch和MongoDB Atlas在区块链技术下的身份管理应用的中的使用，以及MongoDB Stitch四项核心能力。

https://cloud.tencent.com/developer/article/1382023

640?wx_fmt=png

4聚类

聚类作为一种无监督技术，在很多的场合非常的有用，本文介绍5个非常常用的聚类算法，以及各自的优缺点。

https://mp.weixin.qq.com/s/P332yyI3_gY5ds-PwxWxWw

640?wx_fmt=png

5Redis

本文主要介绍 Redis 的内存模型（以 3.0 为例），包括 Redis 占用内存的情况及如何查询、不同的对象类型在内存中的编码方式、内存分配器(jemalloc)、简单动态字符串(SDS)、RedisObject 等；然后在此基础上介绍几个 Redis 内存模型的应用。

https://mp.weixin.qq.com/s/m-RdJQdG-qW-BLquorhMlQ

640?wx_fmt=png

6搜索排序

搜索排序问题在机器学习领域有一个单独的分支，Learning to Rank（L2R）。主要分类如下:

根据样本生成方法和Loss Function的不同，L2R可以分为Pointwise、Pairwise、Listwise。

按照模型结构划分，可以分为线性排序模型、树模型、深度学习模型，他们之间的组合（GBDT+LR，Deep&Wide等）。

在排序模型方面，点评搜索也经历了业界比较普遍的迭代过程：从早期的线性模型LR，到引入自动二阶交叉特征的FM和FFM，到非线性树模型GBDT和GBDT+LR，到最近全面迁移至大规模深度学习排序模型。本文介绍下传统机器学习模型（LR、FM、GBDT）的应用和优缺点，以及深度模型的探索实践过程

https://tech.meituan.com/2019/01/17/dianping-search-deeplearning.html

640?wx_fmt=png

7Hbase

本文从以下几方面详解了分布式数据库HBase的架构设计：

1、传统数据库回顾

2、分布式基础理论

3、HBase特征

4、HBase底层架构

5、HBase设计要点

https://mp.weixin.qq.com/s/FcLhJjHTK4vKF_Z_1-FV8Q

640?wx_fmt=png

8netty

本文详细讲解了使用netty作为http的客户端，pool又该如何进行设计。复用类型的选型，组件选型，pool的设计等面临的问题是什么。

https://mp.weixin.qq.com/s/Vk5X-QquAUq9OYqY9L5CDw

640?wx_fmt=png

9flink

flink批处理，将结果写入到elasticsearch。

https://segmentfault.com/a/1190000017874148

640?wx_fmt=png

10调度

本文从批量处理的概念出发，结合开源批量框架SpringBatch和TBSchedule，简要介绍了批处理型服务架构的设计。可以看到目前虽然有很多已经被广泛使用的批量处理框架，但是还是存在着很多不完善的地方。。

https://mp.weixin.qq.com/s/yaYIZ1kh235Th4XWZSZwXg

640?wx_fmt=png

11开心一刻

面试官：解释一下什么叫做死锁，解释明白我们就会要你。

我：先发 offer，签完 offer 再解释

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞、

大数据和云计算技术周报（第86期)

猜你喜欢