【RDMA】RDMA网卡通讯

我是个小白,从零学RDMA,如有错误还请指正,不胜感激。

在Unbuntu18.04环境下,内核自带rdma-core,输入以下命令可以查看系统版本信息

cat /proc/version

检查RDMA网卡是否已安装

lspci | grep -i mellanox

如果存在则会输出类似于以下的相关信息

检查网卡工作状态,ibv_devices是一个包含在libibverbs-utils.rpm包里的工具,用于显示本机上的RDMA设备:

ibv_devices

 

 其他的一些信息,在state里要有PORT_ACTIVE才说明RDMA可以运行起来

ibv_devinfo

 

下面用rdma_server和rdma_client测试网卡的连通情况

rdma_server和rdma_client是一个简单的ping-pong测试,用于在两个节点之间建立RDMA连接

先在server端查看ip地址

ifconfig

再执行

rdma_server

在另一台虚拟机上运行

rdma_client -s 10.5.1.3

 在client端出现如上字符说明RDMA连接正常

下面使用rping在两个节点之间建立一组可靠的RDMA连接,并在节点之间传输数据 

在server端输入以下命令,-s表示服务器,-C表示ping次数,-v将信息输出

rping -s -C 10 -v

在client端

rping  -c -a 10.5.1.3 -C 10 -v

输出以下信息

下面进行一些RDMA的性能测试,使用ib_*系列命令

ib_send_*、ib_write_*、ib_read_*这三个函数都是 InfiniBand API 中的函数,用于在 InfiniBand 网络上进行数据传输。它们的主要区别如下:

  1. ib_send_*:用于向远程端点发送消息。发送操作可以是阻塞或非阻塞的,具体取决于函数的参数。它需要指定发送数据的缓冲区、数据大小、发送完成后的通知方式等参数。

  2. ib_write_*:用于将数据写入到远程端点的接收缓冲区。写操作通常是阻塞的,它需要指定写入数据的缓冲区、数据大小、写入位置等参数。

  3. ib_read_*:用于从远程端点的发送缓冲区读取数据。读操作通常是阻塞的,它需要指定接收数据的缓冲区、数据大小、读取位置等参数。

总之,ib_send_*ib_write_*ib_read_* 都是用于数据传输的函数,但它们的作用和使用方式略有不同。其中,ib_send_* 是发送数据,ib_write_* 是将数据写入到接收缓冲区, ib_read_* 是从发送缓冲区读取数据。

带宽测试,在server端

ib_send_bw -d mlx5_0

在client端

ib_send_bw -d mlx5_0 10.5.1.3

运行之后client

 本次带宽约85Gb/s

延迟测试与带宽测试基本一致,将bw改为lat,运行之后

猜你喜欢

转载自blog.csdn.net/eternal963/article/details/129323075
今日推荐