大数据和云计算技术周报（第83期)

大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：神经网络、HBase、Hive、spark、推荐系统、MangoDB、AIops。全是干货，希望大家喜欢！！！

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学，在技术的道路上一定会日益精进！感谢编辑们的长期坚持！也请同学们继续打赏，支持社区，支持编辑们持续奉献高质量知识！

#大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学，欢迎扫描文末二维码联系（参与社区工作，收获知识和进步，还有红包哦）。

特别提醒，文末有惊喜！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。（如果链接不能点开请用二维码谢谢）

１Hbase

phoneix适合高并发低时延的SQL需求。

https://mp.weixin.qq.com/s/jnYgwD8mnjEkInAE3VA5yw

640?wx_fmt=png

2图神经网络

近年来，图神经网络的研究成为深度学习领域的热点。本文主要介绍了清华大学孙茂松组在 arXiv 上发布的卷积神经网络综述文章的相关内容。

https://mp.weixin.qq.com/s/DIdJb_vG8_zLdp_t56jLXQ

640?wx_fmt=png

3AIOps

面对目前海量的运维监控数据，如果还用传统的方法已经是难以为继了。我们面临的任务往往是时效性非常强压力非常大的任务，如故障止损，人工决策往往需要小时级的时间。根本原因是人是不擅于在短时间内处理海量数据做出实时准确的决策的。怎么办呢？只能通过AI来解决，只有这一条路，没有别的办法。而AIOps会给运维人员带来革命性的影响。

https://mp.weixin.qq.com/s/C5NyDM0pkWvM3BFpSlUOpQ

640?wx_fmt=png

4数据治理

在数据平台的建设中，数据一致性一直是一个难题，本文介绍了美团酒旅起源数据治理平台的建设与实践。

https://mp.weixin.qq.com/s/GFTh2yU35A0paioMG_yKPQ

640?wx_fmt=png

5Hbase

本文从多租户支持、数据读写接口、数据导入导出和平台优化四个方面来重点讲解58HBase平台的建设。

https://mp.weixin.qq.com/s/x4Hx0402HEEtNchYEzlwww

640?wx_fmt=png

6MongoDB

本文讲述了MongoDB日志分析工具mtools的mplotqueries的使用说明，以及mplotqueries命令全局参数的说明；

https://studygolang.com/articles/1948

640?wx_fmt=png

7神经网络

在最近结束的 NeruIPS 2018 中，来自多伦多大学的陈天琦等研究者成为最佳论文的获得者。他们提出了一种名为神经常微分方程的模型，这是新一类的深度神经网络。神经常微分方程不拘于对已有架构的修修补补，它完全从另外一个角度考虑如何以连续的方式借助神经网络对数据建模。在陈天琦的讲解下，本文将向各位读者介绍这一令人兴奋的神经网络新家族。

https://mp.weixin.qq.com/s/SPf-9LPlMptNPMEOubr5sw

640?wx_fmt=png

8推荐系统

网络中的信息量呈现指数式增长，随之带来了信息过载问题。推荐系统是大数据时代下应运而生的产物，目前已广泛应用于电商、社交、短视频等领域。本文将针对推荐系统中基于隐语义模型的矩阵分解技术来进行讨论。

https://mp.weixin.qq.com/s/ys8qmUlUmGZfSYEChezENg

640?wx_fmt=png

9HIve

如何准确、高效地把MySQL数据同步到Hive中？一般常用的解决方案是批量取数并Load：直连MySQL去Select表中的数据，然后存到本地文件作为中间存储，最后把文件Load到Hive表中。这种方案的优点是实现简单，但是随着业务的发展，缺点也逐渐暴露出来;为了彻底解决这些问题，逐步转向CDC (Change Data Capture) + Merge的技术方案，即实时Binlog采集 + 离线处理Binlog还原业务数据这样一套解决方案。Binlog是MySQL的二进制日志，记录了MySQL中发生的所有数据变更，MySQL集群自身的主从同步就是基于Binlog做的。本文介绍美团DB数据同步到数据仓库的架构与实践

https://tech.meituan.com/binlog_dw.html

640?wx_fmt=png

10Spark

目前业界基于 Hadoop 技术栈的底层计算平台越发稳定成熟，计算能力不再成为主要瓶颈。多样化的数据、复杂的业务分析需求、系统稳定性、数据可靠性，这些软性要求，逐渐成为日志分析系统面对的主要问题。2018 年线上线下融合已成大势，苏宁易购提出并践行双线融合模式，提出了智慧零售的大战略，其本质是数据驱动，为消费者提供更好的服务，苏宁日志分析系统作为数据分析的第一环节，为数据运营打下了坚实基础

https://mp.weixin.qq.com/s/KPTM02-ICt72_7ZdRZIHBA

640?wx_fmt=png

11开心一刻

有个程序媛加班时向男同事抱怨：“不是说一般领导交给女程序员的活都比较少吗？为啥我的工作那么重？”
男同事：“你从哪里听说的？”
程序媛：“坊间流传····”
男同事：“······哼！没把你变成活，就已经是仁至义尽了”

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞、

大数据和云计算技术周报（第83期)

猜你喜欢