大数据和云计算技术周报（第72期)

大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：MongoDB、YARN 、mysql、实时流、Kakfa 、推荐系统、YARN和Mesos、spark、flink 。全是干货，希望大家喜欢！！！

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学，在技术的道路上一定会日益精进！感谢编辑们的长期坚持！也请同学们继续打赏，支持社区，支持编辑们持续奉献高质量知识！

#大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学，欢迎扫描文末二维码联系（参与社区工作，收获知识和进步，还有红包哦）。

特别提醒，文末有惊喜！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。（如果链接不能点开请用二维码谢谢）

１YARN

Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。也就是说 YARN 在 Hadoop 集群中充当资源管理和任务调度的框架。

https://mp.weixin.qq.com/s/b3tDbapZ54GDuVIFlH275A

640?wx_fmt=png

2 mysql

mysql分布式解决方案

https://mp.weixin.qq.com/s/McWCXGE8JsgHAz1V2liFHw

640?wx_fmt=png

3 流计算

Spark Streaming支持较高吞吐量，但是响应时间是秒级的；在需要吞吐量而对响应时间不太敏感的场景，会非常适用；支持Exactly Once语义，有完善的容错机制；有很好的Spark生态和社区支持。

作为对比，Flink支持不错的吞吐量同时，保证了毫秒级延迟；同时，窗口函数丰富，在追求响应时间和基于实时事件时间的场景非常适用；支持Exactly Once语义的基础上也能保证很短的响应时间；采用巧妙设计来实现了容错和高可用。社区支持和生态相对不足。

https://mp.weixin.qq.com/s/4Mvtv4cwunzEL4bamCDZhA

640?wx_fmt=png

4Kakfa

Kakfa 是如何保证消息的高效及一致性呢？

正好以这个问题结合 Kakfa 的源码讨论下如何正确、高效的发送消息。

https://mp.weixin.qq.com/s/97Db7tGNYrZUu-hxF512sw

640?wx_fmt=png

5MongoDB

本文讲述了MongoDB合理连接资源数、短连接、长(慢)请求问题处理、合理控制集合数量、

位置查询的优化、副本集、索引创建问题等配置和日常运行问题的处理。。

https://yq.aliyun.com/articles/61760?utm_content=m_32943

640?wx_fmt=png

6 分库分表

最近我们公司在做分库分表，正好看到这篇文章，写的挺好的，就分享给大家

https://mp.weixin.qq.com/s/nUtHelMW_az_9YT38dn8WQ

640?wx_fmt=png

7推荐系统

本文主要讲解电商推荐系统的难点，系统架构设计和推荐流程设计

https://mp.weixin.qq.com/s/CqL7toqyCKes9VyvTo9uuA

640?wx_fmt=png

8YARN和Mesos

YARN是大多Spark应用的底层资源调度保障。而随着Spark应用的逐渐加深，各种问题也随之暴露出来，比如资源调度的粒度问题。为此，一场基于YARN和Mesos的讨论被拉开。

https://mp.weixin.qq.com/s/MrQv_FMrYk7DBhtjuapjaA

640?wx_fmt=png

9spark

本文讨论了三个典型的问题，包括调整shuffle partition数量，选择最佳执行计划和数据倾斜

https://mp.weixin.qq.com/s/mqhW21TU8V32x6-TVMAAvQ

640?wx_fmt=png

Flink

640?wx_fmt=jpeg

如何生成 StreamGraphFlink 原理与实现？如何生成 JobGraphFlink原理与实现？如何生成ExecutionGraph及物理执行图 Flink的逻辑/执行计划优化，有一个很大的特点就是，会将多个operator，串在一起作为一个operator chain来执行。本文详细介绍Flink Operator Chain原理

https://yq.aliyun.com/articles/225621?spm=a2c4e.11153940.blogcont225624.11.7c797f6bSzBHSd

640?wx_fmt=png

11开心一刻

诸葛亮是一个优秀的程序猿，每一个锦囊都是应对不同的case而编写的！但是优秀的程序猿也敌不过更优秀的bug！六出祈山，七进中原，鞠躬尽瘁，死而后已的诸葛亮只因为有一个错误的case-马谡，整个结构就被break了！

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞、

大数据和云计算技术周报（第72期)

Flink

猜你喜欢