余额宝数据架构阅读

链接https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653547540&idx=1&sn=b3f568ba4bd1c4a0a2d35c0e5ef033cc&scene=21#wechat_redirect

余额宝目前储存有大量的数据,那么如何处理、储存和利用这些数据是需要解决的问题,同时还要保证数据的安全性

数据来源于业务数据、日志数据和其他数据

采用分布式的数据储存:

后台的数据储存系统可以分为两部分,一部分解决实时查询,另一部分用于离线计算,对数据进行挖掘、分析。

外部储存的数据可以是业务数据、文件日志等,将他们导入到数据库

前端采用自主开发的数据库软件或其他可用外部工具

在他们之间通过算法的处理,如:神经网络、机器学习等增加数据调用的速度,数据的实时处理速度

  • 耦合。首先计算和数据的耦合还是存在的。这实际上是对系统的扩展是不利的。另外,单个计算节点上,在业务上还是存在耦合,我们很多业务上的东西还是存在拆分的可能。

  • 数据流转,我们现在数据库层面也是分布式,所以数据的抽取、同步和流转会遇到很多现实的问题。

    扫描二维码关注公众号,回复: 5803485 查看本文章
  • 运维。在运维方面除了遇到的传统分布式系统的运维遇到的一些难题之外,我们还在业务层面的运维也会遇到一些现实问题。

按照业务分类储存数据,建立分布式的储存系统

批量计算:RDS 集群

分析型、挖掘类需求可采用列存数据库

保证系统数据的安全行

提高数据的读写速度

对历史数据分析、挖掘

减少数据同步出现的数据冗余

猜你喜欢

转载自www.cnblogs.com/0710whh/p/10665969.html
今日推荐