作者：思腾合力
链接：https://www.zhihu.com/question/422501188/answer/2456712482
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
NVIDIA 于2020年4月份完成了对 Mellanox 的收购，将高性能网络技术与自身高性能计算技术相结合，提供更高的性能、更高的计算资源利用率，其中最重要的一点是通过 InfiniBand 实现互连。
InfiniBand 即“无限带宽”技术，通常缩写为IB，是一个用于高性能计算的计算机网络通信标准，它最重要的一个特点就是高带宽、低延迟，应用于计算机与计算机之间的数据互连。InfiniBand 也用作服务器与存储系统之间的直接或交换互连，以及存储系统之间的互连，这也是 NVIDIA 收购 Mellanox 的一个重要原因。
由于IB网络具备低延迟、高带宽的网络特性，因此在高性能计算项目中有比较广泛的应用，通常在集群中作为高速计算网络，IB 网络采用了 mallenox 的IB网卡（目前最新带宽已经达到400Gb/s），通过专用 IB 交换机和控制器软件 UFM 实现网络通信和管理。
InfiniBand 作为一个统一的互联技术，可以用来处理存储 I/O、网络 I/O，也能够去处理进程间的互相通信。它可以将服务器集群中的管理节点、计算节点、存储服务器（分布式存储、磁盘阵列）等进行互联，实现高速通信，也可以连接外部网络(例如互联网、VPN、WAN)。设计及使用InfiniBand 技术的目的主要是应用于企业级的数据中心进行高速通信。其目标主要是实现高的可靠性、可用性、可扩展性和高的性能。InfiniBand 可以提供高带宽、低延迟的传输在相对短的距离内，而且在单个或多个互联网络中支持冗余的 I/O 通道，所以在数据中心发生一些故障的情况下仍然能够保持高速运行。
在应用场景方面，以太网可以实现全球通信的互联，InfiniBand 则没有那么大的通信距离和范围，主要用于企业、校园内部或者城市局域部分的数据中心，通常只有几间机房，而他的最大距离很大程度上取决于缆线类型(铜缆或光纤)、连接的质量、数据速率和收发器等。如果在使用光缆、单模的收发器以及基本数据速率的情况下，InfiniBand 的最大距离在10公里左右。
理论上来说，InfiniBand 能够想以太网一样通过交换机、路由器实现超远距离的通信，但是在实际使用过程中，传输距离会受到多方面的限制。为了确保数据分组的可靠传输，InfiniBand 具备诸如反应超时、流控等特点，用来防止阻塞造成的分组丢失。延长 InfiniBand 的距离将降低这些特征的有效性，因为延迟超过了合理的范围。
为了扩大InfiniBand的应用范围，满足用户更大的使用需求，需要解决长距离传输问题，Mellanox 厂商想到了利用以太网、光纤网络的方式来解决这一困扰；即通过一桥接设备连接到以太网和光纤网络，同时能够实现InfiniBand网络与现有的光纤通道连接的各类局域网、城域网等分布式数据中心相兼容，通过这一方法，将传输距离提升至10公里左右。
除了上文中介绍到的高速网络传输性能之外，Infiniband 技术发展的另一个重要的方向在于将服务器中的总线进行网络化，因此它直接继承了总线低时延、高带宽的特性。Infiniband 中的 RDMA(Remote Direct Memory Access) 技术直接继承的总线技术中使用的 DMA Direct Memory Access) 技术。得益于这一技术的应用，我们能够通过 RDMA 提供的基于 IO 通道直接对远程的虚拟内存进行直接读写，而不是像传统的读写方式，需要通过 CPU 的干预，应用程序能够直接访问远程主机内存或者硬盘而不必消耗远程主机中的任何 CPU 资源，释放服务器 CPU 性能。因此相对万兆以太网来说，Infiniband 在服务器中对 CPU、内存、硬盘等的交流方面具备天然的优势。
