数据中心Data Center——学习与理解

大型数据中心示意图

数据中心相关概念

• DC：Data Center，数据中心。DC是物理概念，是指在一个物理空间（比如机房）内实现信息的集中处理、存储、传输、 交换和管理。服务器、存储和网络设备是DC的关键设备，供电、制冷、消防、监控等基础设施是DC的关键配套。

• VDC：virtual data center，虚拟数据中心，VDC是一个组织可使用资源的集合，一般包括计算、存储和网络资源。在形式上类似于一个物理数据中心，是物理数据中心在虚拟化层的表现。

  • 在公有云场景，系统管理员可以定义VDC并为VDC分配租户，只有该VDC的租户才可管理该VDC下的资源。
  • 在私有云场景，VDC可以灵活定义，分配给一个业务/应用/部门。系统管理员可以通过VDC对企业内的不同业务/应用/ 部门进行不同等级的资源配额管理。

• VPC：Virtual Private Cloud，虚拟私有云。VPC使用VDC中的资源，一个VPC只能属于一个VDC，而一个VDC可包含多个VPC。每个VPC为一个安全域，对应于一个业务/应用/部门。VPC可提供以下特性：

  • 隔离环境：VPC提供隔离的虚拟机和网络环境，满足不同业务/部门的网络隔离要求。
  • 业务丰富：每个VPC可提供独立的vFW、vLB、安全组、EIP、IPsec VPN、NAT等业务。
  • 灵活组网：VPC可提供直联网络、路由网络和内部网络等多种组网模式。

• fabric架构：一组spine以leaf节点互联组成数据中心基础物理网络拓扑。它是一个二层的spine/leaf架构，如下图所示。spine交换机之间或者leaf交换机之间不需要链接同步数据。每个leaf交换机的上行链路数等于spine交换机数量，同样的每个spine交换机的下行链路数等于leaf交换机的数量，spine交换机和leaf交换机之间是以full-mesh方式连接。和传统网络对比来看更易扩展。

  其中spine/leaf节点的作用是：

  • spine：骨干节点，VXLAN fabric网络核心节点，提供高速IP转发功能，通过高速接口连接各个功能leaf节点。
  • leaf：叶子节点，VXLAN fabric网络功能接入节点，提供各种网络设备接入VXLAN网络功能。

• TOR(Top of Rack)接入方式是一种由服务器到交换机或交换机到交换机的一种较为常见的布线方式。TOR交换机既可以是接入层交换机又可以是汇聚层交换机还可以是核心层交换机。当TOR交换机位于服务器机柜顶部，起到衔接服务器与核心层或汇聚层交换机的作用时，则称之为接入层交换机；当TOR交换机位于交换机机柜顶部，则称为汇聚层或核心层交换机。

  TOR交换机是一种交换机在数据中心的布线方式。节点是一个连接点，表示一个再分发点或一个通信端点（一些终端设备）。其他的布线方式还有EOR、MOR等。

• 堆叠：是指把多台支持堆叠技术特性的单独交换机组合在一起，从逻辑上组合成一台整体交换机。交换机之间通过堆叠线缆连接在一起，从逻辑上像一台交换机实现报文转发，同时用户使用一个IP对堆叠进行管理和维护。

• POD：point of delivery，数据中心基本物理设计单元，包括服务器、接入网络、汇聚网络机柜还有它们的配套设施，算是整个组网的一个区域，整个组网包括多个pod，用pod划分可以提高整个组网的利用率，便于计算虚拟化，pod中有接入、汇聚、核心三层结构，不过现在的应用fabric+大二层多一点。

对数据中心发展及现有理解

传统数据中心概述

传统的数据中心网络主要是underlay网络，由核心层汇聚层和接入层组成，一般汇聚层和接入层为L2网络，核心层为L3网络，使用OSPF、STP、MSTP、VRRP等协议，实现链路和设备的冗余，由于虚拟化技术的发展和云计算大数据对高带宽高可用以及多租户的需要，VLAN、STP等技术已经很难满足现代大型数据中心的需要。

现代数据中心概述

现代话的数据中心主要由underlay上的overlay网络组成，主机等接入设备无需关注数据中心节点的传输过程，通过VXLAN和GRE等隧道技术实现透传，同时舍弃STP、VLAN等技术，使用堆叠和虚拟化技术实现一个大二层的环境，让多台交换机或者路由设备在外界看来是同一个设备，通过使用同一个IP等方式，实现更大的带宽，更高速的链路以及热备份、快速切换等高可用能力。

为什么需要大二层？

虚拟化对数据中心提出的挑战，虚拟化从根本上改变了数据中心网络架构的需求。最重要的一点就是，虚拟化引入了虚拟机动态迁移技术。从而要求网络支持大范围的二层域。从根本上改变了传统三层网络统治数据中心网络的局面。

那么又为什么非要实现虚拟机的热迁移呢？

虚拟机迁移技术可以使数据中心的计算资源得到灵活的调配，进一步提高虚拟机资源的利用率。但是虚拟机迁移要求虚拟机迁移前后的IP和MAC地址不变，这就需要虚拟机迁移前后的网络处于同一个二层域内部。由于客户要求虚拟机迁移的范围越来越大，甚至是跨越不同地域、不同机房之间的迁移，所以使得数据中心二层网络的范围越来越大，甚至出现了专业的大二层网络这一新领域专题。

传统网络的二层为什么大不起来？

在传统数据中心网络中，“区域”对应VLAN的划分，如WEB、APP、DB，办公区、业务区、内联区、外联区等等。相同VLAN内的终端属于同一广播域，具有一致的VLAN ID，二层连通；不同VLAN内的终端需要通过网关互相访问，二层隔离，三层连通。

传统的数据中心网络技术，STP是二层网络中非常重要的一种协议。由于STP的收敛性能等原因，一般情况下STP的网络规模不会超过100台交换机。同时由于STP需要阻塞掉冗余设备和链路，也降低了网络资源的带宽利用率。因此在实际网络规划时，从转发性能、利用率、可靠性等方面考虑，会尽可能控制STP网络范围——STP限制了网络的性能和规模。

数据中心的网络

数据中心一般都为性能较好的三层交换机，所使用的IGP路由主要是以OSPF路由为主，与运营商对接则使用的是BGP。OSPF的网络中，各POD划分为不同的Area区域，东西汇聚交换机作为骨干区域Area0，以减少LSA的传播区域和传播数量。各POD内接入层交换机作为OSPF区域边界网络设备，将不同接口划入不同的区域，上连东西汇聚交换机接口划入Area0，下连POD内Spine接口划入各POD单独Area。