dpdk学习预备之多队列网卡环境搭建
dpdk学习预备之环境搭建： 这里使用VMware+ubuntu虚拟机环境
这里涉及到的小知识点：
1：配置多个网卡，并使环境上多个网卡都能生效。
2：修改虚拟机网卡名称为传统的eth0
3：多队列网卡的测试
dpdk测试环境是怎样的？
个人理解：网卡一般接收到数据后会给内核相关内核协议栈，这里dpdk会代替这里的协议栈，接管网卡上的数据，实现定制性开发，对网络性能进行优化与提升。
所以：
1：dpdk要接管一个网卡上的数据，所以我们测试的时候需要专门提供一个网卡（可以是虚拟的）进行dpdk的测试。
2：dpdk环境要支持多队列网卡，如何配置环境多队列网卡？
3：dpdk源码编译，配置，测试等（这个后期实现）
配置环境支持多个网卡
1：在vmware环境中对应虚拟机的虚拟机设置中，增加网络适配器（一个或者多个），对应网卡的个数。
2：启动虚拟机，查看网卡信息：
当前生效的只有一个网卡，是桥接模式的第一个网卡：
ubuntu@ubuntu:~$ ifconfig
ens33 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:c4
inet addr:192.168.50.56 Bcast:192.168.50.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:feb2:2fc4/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:1636 errors:0 dropped:0 overruns:0 frame:0
TX packets:122 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:120640 (120.6 KB) TX bytes:15158 (15.1 KB)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:160 errors:0 dropped:0 overruns:0 frame:0
TX packets:160 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1
RX bytes:11840 (11.8 KB) TX bytes:11840 (11.8 KB)
但是实际上我们已经配置了三个网卡，并且都在环境中:
ubuntu@ubuntu:~$ ifconfig -a
ens33 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:c4
inet addr:192.168.50.56 Bcast:192.168.50.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:feb2:2fc4/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:2240 errors:0 dropped:0 overruns:0 frame:0
TX packets:167 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:164047 (164.0 KB) TX bytes:20750 (20.7 KB)
ens38 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:ce
BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
ens39 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:d8
BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:160 errors:0 dropped:0 overruns:0 frame:0
TX packets:160 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1
RX bytes:11840 (11.8 KB) TX bytes:11840 (11.8 KB)
3：配置使多个网卡都能生效。
修改 /etc/network/interfaces，参考默认的一个网卡，增加其他没有增加的网卡
ubuntu@ubuntu:~$ sudo vim /etc/network/interfaces
ubuntu@ubuntu:~$ cat /etc/network/interfaces
# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).
source /etc/network/interfaces.d/*
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
auto ens33
iface ens33 inet dhcp
#这里以下：是我对应环境新增的
auto ens38
iface ens38 inet dhcp
auto ens39
iface ens39 inet dhcp
ubuntu@ubuntu:~$ service networking restart #重启了网络服务
4：查看网卡信息并进行测试。
重启网络服务，并查看当前生效网卡的情况： 发现多个网卡，都已经生效了。
ubuntu@ubuntu:~$ service networking restart #不同的linux环境重启网络命令是不同的
==== AUTHENTICATING FOR org.freedesktop.systemd1.manage-units ===
Authentication is required to restart 'networking.service'.
Authenticating as: ubuntu,,, (ubuntu)
Password:
==== AUTHENTICATION COMPLETE ===
ubuntu@ubuntu:~$ ifconfig
ens33 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:c4
inet addr:192.168.50.56 Bcast:192.168.50.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:feb2:2fc4/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:7546 errors:0 dropped:0 overruns:0 frame:0
TX packets:524 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:563423 (563.4 KB) TX bytes:86418 (86.4 KB)
ens38 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:ce
inet addr:192.168.11.155 Bcast:192.168.11.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:feb2:2fce/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:14 errors:0 dropped:0 overruns:0 frame:0
TX packets:14 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:1976 (1.9 KB) TX bytes:1566 (1.5 KB)
ens39 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:d8
inet addr:192.168.11.156 Bcast:192.168.11.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:feb2:2fd8/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:7 errors:0 dropped:0 overruns:0 frame:0
TX packets:9 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:986 (986.0 B) TX bytes:1262 (1.2 KB)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:160 errors:0 dropped:0 overruns:0 frame:0
TX packets:160 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1
RX bytes:11840 (11.8 KB) TX bytes:11840 (11.8 KB)
网卡名称修改为eth0 …，可参考上一步改为多网卡
描述：发现网卡的命名是ens33, 不是eth0
(网络上有说eth0是物理网卡命名，ens33是虚拟网卡命名，代表不同的网卡特性，这个是可以配置修改的)
1：修改命名规则，改为eth0 …
修改配置文件/etc/default/grub，在配置文件中”GRUB_CMDLINE_LINUX“字段对应值新增：net.ifnames=0 biosdevname=0
GRUB_CMDLINE_LINUX="net.ifnames=0 biosdevname=0" #这里只新增net.ifnames=0 biosdevname=0 字段，如果有其他，保留就好
2：执行命令：update-grub
ubuntu@ubuntu:~$ sudo update-grub
[sudo] password for ubuntu:
Generating grub configuration file ...
Found linux image: /boot/vmlinuz-4.4.0-206-generic
Found initrd image: /boot/initrd.img-4.4.0-206-generic
Found linux image: /boot/vmlinuz-4.4.0-186-generic
Found initrd image: /boot/initrd.img-4.4.0-186-generic
done
3：查看是否生效，用ifconfig /ifconfig -a
注：如果没有生效，观察配置文件**/etc/network/interfaces**中相关配置，修改完对应的网卡后，重启网络服务，并查看
ubuntu@ubuntu:~$ ifconfig
eth0 Link encap:Ethernet HWaddr 00:0c:29:5c:4d:0c
inet addr:192.168.11.138 Bcast:192.168.11.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe5c:4d0c/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:176 errors:0 dropped:0 overruns:0 frame:0
TX packets:180 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:16619 (16.6 KB) TX bytes:26760 (26.7 KB)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:576 errors:0 dropped:0 overruns:0 frame:0
TX packets:576 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1
RX bytes:44256 (44.2 KB) TX bytes:44256 (44.2 KB)
4：eth配置多网卡，可以参考上文
5：不同的ubuntu环境可能有差异。（ubuntu20 修改网卡配置文件为/etc/netplan/00-installer-config.yaml）
1： 修改grub配置文件/etc/default/grub，在GRUB_CMDLINE_LINUX对应字段中增加： net.ifnames=0 biosdevname=0
2： 修改使环境识别eth，一般修改的是文件/etc/network/interfaces，参考其中默认的，在对应的网卡中，修改或者增加其他网卡配置。
ubuntu20环境中修改/etc/netplan/00-installer-config.yaml，用命令 sed -i "s/ens32/eth0/" /etc/netplan/00-installer-config.yaml 注意，其中的ens32为00-installer-config.yaml文件中对应的网卡字符，可能是其他。
3： 执行sudo update-grub
4: 重启环境进行查看
配置网卡支持多队列
简单理解：就是网卡的DMA队列有多个，有自己对队列的分配机制。
1：修改虚拟机配置，使支持多队列
主要修改的是vmware工具上我们安装的虚拟机的配置文件：
1：修改虚拟机配置，处理器个数增加一点（方便观察），这里我设为4
2：再对应虚拟机目录中的“Ubuntu 64 位.vmx”（这是我的配置文件），用编辑器打开，修改要配置多队列网卡的网卡配置，这里修改的是
注意：最好在关闭虚拟机的状态下修改
#在Ubuntu 64 位.vmx 中打开，修改ethernet1配置，把e1000 改为 vmxnet3
#如果没有wakeOnPcktRcv 增加就好
#这里我的ethernet1 对应的是环境上的eth0
ethernet1.virtualDev = "vmxnet3"
ethernet1.wakeOnPcktRcv = "TRUE"
2：查看是否支持多队列网卡
1：使用cat /proc/interrupts 命令可以查看多队列网卡的效果。
ubuntu@ubuntu:~$ cat /proc/interrupts |grep eth0
57: 13 0 4 0 PCI-MSI 1572864-edge eth0-rxtx-0
58: 2 0 0 0 PCI-MSI 1572865-edge eth0-rxtx-1
59: 6 0 0 0 PCI-MSI 1572866-edge eth0-rxtx-2
60: 0 0 0 0 PCI-MSI 1572867-edge eth0-rxtx-3
61: 0 0 0 0 PCI-MSI 1572868-edge eth0-event-4
可以看到，配置了4个处理器，这里的队列个数为4个。
2：使用cat /proc/cpuinfo，可以查看支持的cpu个数（processor+1）
#可以自己查看细节
ubuntu@ubuntu:~$ cat /proc/cpuinfo |grep processor
processor : 0
processor : 1
processor : 2
processor : 3
3：修改ubuntu启动参数，支持大内存页，隔离cpu
isolcpus 配置的是隔离cpu，指定使用的cpu ==》可能有误，待理解，可以测试一下
在/etc/default/grub文件中修改GRUB_CMDLINE_LINUX对应值，
修改后执行 sudo update-grub
重启环境进行测试，如果启动不成功，可能是内存不够，内存设大一点。
#物理机:
default_hugepages=1G hugepagesz=1G hugepages=20 isolcpus=0-7
#虚拟机：
default_hugepages=1G hugepagesz=2M hugepages=1024 isolcpus=0-2
#具体大小视情况而定。重启虚拟机，使得hugepage和isocpus配置生效。
测试多队列网卡（虚拟机上的一个网卡）
1：概述
这里的测试：用wrk和nginx配合进行测试。
0：在多队列网卡的基础上，设置大内存页以及隔离cpu
1：配置nginx中进程数，以及配置cpu亲和性
2：查看多队列网卡，获取不同队列对应的中断号。
3：配置不同的中断号，与cpu核的绑定，特定的中断对应特定的核，方便测试。
2：安装nginx环境
在前面测试的基础上，有多队列网卡，设置了大内存页和隔离cpu的基础上，
进行nginx的安装以及测试：
tar -zxvf nginx-1.13.7.tar.gz
tar -zxvf openssl-1.1.0g.tar.gz
tar -zxvf pcre-8.41.tar.gz
tar -zxvf zlib-1.2.11.tar.gz
./configure --prefix=/usr/local/nginx --with-http_realip_module --with-http_addition_module --with-http_gzip_static_module --with-http_secure_link_module --with-http_stub_status_module --with-stream --with-pcre=/home/ubuntu/install_code/nginx/pcre-8.41 --with-zlib=/home/ubuntu/install_code/nginx/zlib-1.2.11 --with-openssl=/home/ubuntu/install_code/nginx/openssl-1.1.0g
make
sudo make install ==》查看在/usr/local目录下产生nginx目录：
cd /usr/local/nginx
sudo ./sbin/nginx -c ./conf/nginx.conf
#然后在网页上输入本机ip查看效果。
#用ps afx|grep nginx查看效果
#pcre ==>做正则表达式的
#zlib ==》做编码的
3：修改nginx配置环境，设置cpu亲和性
参考：https://www.cnblogs.com/pangbing/p/6537188.html
#在nginx配置文件中修改/增加如下 支持4个进程对应4个cpu,其他的8个cpu，2个cpu，绑定多个cpu可以自己研究
worker_processes 4;
worker_cpu_affinity 0001 0010 0100 1000;
4：绑定中断和cpu
1：在/proc/interrupts 文件中查看对应的多队列网卡的中断号，可以看到这里是56-59
ubuntu@ubuntu:/usr/local/nginx$ cat /proc/interrupts |grep eth0
56: 14 0 0 14 PCI-MSI 1572864-edge eth0-rxtx-0
57: 3 0 0 0 PCI-MSI 1572865-edge eth0-rxtx-1
58: 4 0 0 0 PCI-MSI 1572866-edge eth0-rxtx-2
59: 2 0 0 0 PCI-MSI 1572867-edge eth0-rxtx-3
60: 0 0 0 0 PCI-MSI 1572868-edge eth0-event-4
2：手动对中断号进行cpu的绑定,
注意：需要su权限，
用xshell连接执行修改命令时会报错（bash: echo: write error: Invalid argument），试试直接在虚拟机环境上执行成功。
root@ubuntu:/proc/irq# cat /proc/irq/56/smp_affinity
00000000,00000000,00000000,00000008
root@ubuntu:/proc/irq# cat /proc/irq/57/smp_affinity
00000000,00000000,00000000,00000008
root@ubuntu:/proc/irq# cat /proc/irq/58/smp_affinity
00000000,00000000,00000000,00000008
root@ubuntu:/proc/irq# cat /proc/irq/59/smp_affinity
00000000,00000000,00000000,00000008
#如果xshell连接执行不成功，用vmware试试是成功的
root@ubuntu:/home# echo 00000001> /proc/irq/56/smp_affinity
root@ubuntu:/home# echo 00000002> /proc/irq/57/smp_affinity
root@ubuntu:/home# echo 00000004> /proc/irq/58/smp_affinity
root@ubuntu:/home# echo 00000008> /proc/irq/59/smp_affinity
#查看修改后的
root@ubuntu:/home# cat /proc/irq/56/smp_affinity
00000000,00000000,00000000,00000001
root@ubuntu:/home# cat /proc/irq/57/smp_affinity
00000000,00000000,00000000,00000002
root@ubuntu:/home# cat /proc/irq/58/smp_affinity
00000000,00000000,00000000,00000004
root@ubuntu:/home# cat /proc/irq/59/smp_affinity
00000000,00000000,00000000,00000008
#可以通过查看/proc/irq/56/smp_affinity_list 最后生效的，其实是对应的smp_affinity_list 其实是绑定的cpu号，可以多个
ubuntu@ubuntu:~$ cat /proc/irq/56/smp_affinity_list
0
ubuntu@ubuntu:~$ cat /proc/irq/57/smp_affinity_list
1
ubuntu@ubuntu:~$ cat /proc/irq/58/smp_affinity_list
2
ubuntu@ubuntu:~$ cat /proc/irq/59/smp_affinity_list
3
#如果有多于4个的，是继续如下配置的
root@ubuntu:/home# echo 00000010> /proc/irq/60/smp_affinity
root@ubuntu:/home# echo 00000020> /proc/irq/61/smp_affinity
root@ubuntu:/home# echo 00000040> /proc/irq/62/smp_affinity
root@ubuntu:/home# echo 00000080> /proc/irq/63/smp_affinity
5：使用wrk性能测试工具对多队列网卡进行测试
注意，这里测试的是多队列网卡，要注意网卡的ip。
安装wrk（ http 性能测试工具）：
git clone https://gitee.com/mirrors/wrk.git
make
#这里可以直接在库下用生成的可执行文件wrk直接测试
#测试命令：
./wrk -c400 -d60s -t100 http://192.168.50.58/
测试环境的信息，建立在上文基础上，其实可以一个网卡进行测试的：
root@ubuntu:/usr/local/nginx# ifconfig
eth0 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:ce
inet addr:192.168.50.58 Bcast:192.168.50.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:feb2:2fce/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:1096442 errors:0 dropped:0 overruns:0 frame:0
TX packets:1123779 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:87994929 (87.9 MB) TX bytes:505500636 (505.5 MB)
eth1 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:c4
inet addr:192.168.50.56 Bcast:192.168.50.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:feb2:2fc4/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:19445 errors:0 dropped:0 overruns:0 frame:0
TX packets:52 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:1522713 (1.5 MB) TX bytes:5112 (5.1 KB)
eth2 Link encap:Ethernet HWaddr 00:0c:29:b2:2f:d8
inet addr:192.168.50.60 Bcast:192.168.50.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:feb2:2fd8/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:19441 errors:0 dropped:0 overruns:0 frame:0
TX packets:52 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:1522455 (1.5 MB) TX bytes:5112 (5.1 KB)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:160 errors:0 dropped:0 overruns:0 frame:0
TX packets:160 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1
RX bytes:11840 (11.8 KB) TX bytes:11840 (11.8 KB)
6：查看测试结果：
查看多队列网卡中中断产生所在cpu上的情况：主要看eth0,(中断号56，57，58，59) ===》这里数据以及隔离cpu的那个数字细节没有分析
可以从现象看出，56号中断数据在最后测试时，数据在cpu0, 57在cpu1, 58在cpu2, 59在cpu3 （cpu3上中断次数过多，是因为测试前的数据）
root@ubuntu:/usr/local/nginx# cat /proc/interrupts |grep eth
17: 5726 0 0 4420 IO-APIC 17-fasteoi ehci_hcd:usb1, ioc0, eth2
19: 405 0 0 3824 IO-APIC 19-fasteoi eth1
56: 79311 0 0 223321 PCI-MSI 1572864-edge eth0-rxtx-0
57: 3 38030 0 81500 PCI-MSI 1572865-edge eth0-rxtx-1
58: 7 0 38853 81592 PCI-MSI 1572866-edge eth0-rxtx-2
59: 7 0 0 116604 PCI-MSI 1572867-edge eth0-rxtx-3
60: 0 0 0 0 PCI-MSI 1572868-edge eth0-event-4
注意：一次中断，保证一个包的完整接收，但是并不是限定了连接就一致在这个cpu上。
这里的测试成功，我是建立在网络适配器修改为桥接模式，第一次net模式，没观察到数据变化（暂时没做测试和分析原因）。
总结：
1：概述实现
1：vmware环境通过增加网络适配器，增加多个网卡，并配置使网卡生效。
2：修改网卡名称为传统上的eth格式
3：多队列网卡的认识及测试（配置支持多队列网卡，绑定cpu进行）
4：认识wrk 性能测试工具
2：阻塞问题
1：增加适配器后，ifconfig查看依然没有增加的网卡对应信息，
===》需要在对应的配置文件中进行设置(ubuntu20和低版本有差异)
2：虚拟机环境上的网卡名并不是eth，
===》其实这个应该使没影响的，但是也是可以修改配置的，在/etc/default/grub做配置，增加的两个字段影响网络命名，可以查阅
3：明明在/etc/default/grub配置文件中已经增加字段，但是重启等各种手段都没有生效。
===》一定要执行sudo update-grub命令后，重启环境才会生效
4：如果ifconfig中还是没有相关多个网卡的信息。
===》注意/etc/network/interfaces中配置是否正确。
5：xshell连接测试虚拟机，执行echo 00000001> /proc/irq/56/smp_affinity命令时总报错。
===》直接在测试虚拟机上执行没有问题。
6：第一次测试的时候，多队列网卡虚拟机的网络适配器用的net模式，没观察到具体数据（待测试）
7：隔离cpu对cpu使用的影响(待测试)
参考：修改网卡eth:https://www.cnblogs.com/itwangqiang/p/14302252.html
dpdk环境搭建：https://zhuanlan.zhihu.com/p/336938230
nginx配置worker_cpu_affinity：https://blog.csdn.net/u011957758/article/details/50959823
Biosdevname & net.ifnames 命名规则： http://benjr.tw/93340