分布式系统学习:03 分布式系统的技术栈

构建分布式系统的目的:增加系统容量;提高系统的可用性。也就是 大流量处理与关键业务保护。

  • 大流量处理 通过集群技术把大规模并发请求的负载分散到不同的机器上

  • 关键业务保护 提高后台服务的可用性,把故障隔离起来阻止多米诺骨牌效应(雪崩效应)。

需要做的是:一是提高整体架构的吞吐量,服务更多的并发和流量,二是为了提高系统的稳定性,让系统的可用性更高。提高架构的性能

提高架构的性能

提高系统性能的常用技术

图片来自极客时间左耳听风专栏

  • 缓存系统。 加入缓存系统,可以有效地提高系统的访问能力。在分布式中则需要一个缓存集群,这个集群需要一个Proxy 来做缓存的分片和路由。
  • 负载均衡系统。 水平扩展的关键技术,可以使多台机器共同分担一部分流量请求
  • 异步调用。 异步系统主要通过消息队列来对请求做排队处理,“削平”前端请求峰值,后端通过自己能够处理的速度来处理请求。吞吐量增加,但实时性变差。同时,会引入消息丢失问题,而对消息做持久化会造成“有状态”的结点
  • 数据分区和数据镜像 。 ** 数据分区** 是把数据按一定的方式分成多个区(比如通过地理位置),不同的数据区来分担不同区的流量。这需要一个数据路由的中间件。导致跨库操作变得复杂。数据镜像是把一个数据库镜像成多份一样的数据,这样就不需要数据路由的中间件了,但是引入数据一致性问题。

提高架构的稳定性

提高系统稳定性的常用技术

图片来自极客时间左耳听风专栏

  • 服务拆分。 服务拆分主要有两个目的:一是为了隔离故障,二是为了重用服务模块。这会引入服务调用间的依赖关系(原来调用一个服务解决的问题,需要调用多个相关服务)
  • 服务冗余。 服务冗余是为了去除单点故障,并可以支持服务的弹性伸缩,以及故障迁移。有状态的服务,导致冗余这些服务带来更高的复杂度。在弹性伸缩时,需要考虑数据的复制或是重新分片,迁移的时候还要迁移数据到其它机器上。
  • 限流降级。 系统实在扛不住压力时,通过限流或者功能降级的方式来停掉一部分服务,或是拒绝一部分用户,以确保整个架构不会挂掉。
  • 高可用架构。 通常来说从冗余架构的角度来保障可用性,为了不出单点故障。。比如,多租户隔离,灾备多活
  • 高可用运维。 高可用运维指的是 DevOps 中的 CI/CD(持续集成 / 持续部署)。

分布式系统的关键技术

引入分布式系统,会引入一堆技术问题,需要从以下几个方面来解决。

  • 服务治理。 服务拆分、服务调用、服务发现、服务依赖、服务的关键度定义……归于服务治理。服务治理最大意义在于,1、梳理出来服务间的依赖关系、服务调用链,以及关键的服务。2、对这些服务进行性能和可用性方面的管理。
  • 架构软件管理。 整体服务所形成的架构需要有版本管理、需要对整体架构的生命周期管理,以及对服务的编排、聚合、事务处理等服务调度功能。
  • DevOps。 其中包括环境构建、持续集成、持续部署等。
  • 自动化运维。 对服务进行自动伸缩、故障迁移、配置管理、状态管理等一系列的自动化运维
  • 资源调度管理。 应用层的自动化运维需要基础层的调度支持,也就是 IaaS 层的计算、存储、网络等资源调度、隔离和管理。
  • 整体架构监控。 有了好的监控,才能进行好的自动化运维和资源调度管理等。监控需要对三层系统(应用层、中间件层、基础层)进行监控。
  • 流量控制。 流量控制,负载均衡、服务路由、熔断、降级、限流等和流量相关的调度

分布式系统的“纲”

分布式系统有五个关键技术,它们是:

  • 全栈系统监控;
  • 服务 / 资源调度;
  • 流量调度;
  • 状态 / 数据调度;
  • 开发和运维的自动化。

开发和运维的自动化,需要前四项都做到了为前提。最为关键是这四项技术,即应用整体监控、资源和服务调度、状态和数据调度及流量调度,它们是构建分布式系统最最核心的东西。

图片来自极客时间左耳听风专栏

参考资料:

左耳听风(极客时间)链接:
http://gk.link/a/10f5D


GitHub链接:
https://github.com/lichangke/LeetCode
知乎个人首页:
https://www.zhihu.com/people/lichangke/
CSDN首页:
https://me.csdn.net/leacock1991
欢迎大家来一起交流学习

发布了171 篇原创文章 · 获赞 16 · 访问量 5207

猜你喜欢

转载自blog.csdn.net/leacock1991/article/details/104079858