DPDK是数据平面开发工具包，它由一些库组成，可以加速在各种CPU架构上运行的数据包处理工作负载。可以运行在x86、POWER和ARM处理器上，并在开源BSD许可证下获得许可。

Pktgen-DPDK是一个由DPDK驱动的流量生成器。

本指南是为想要了解如何构建DPDK并使用Ampere^® Altra^®处理器设置测试环境的应用程序架构师和构建工程师编写的。

硬件的配置如下所示。

Packet Generator:

• Ampere Altra Q80-30
• Mellanox ConnectX-6 Dx
• CentOS 8.5
• DPDK 23.03+ Pktgen-DPDK master

DUT:

• Ampere Altra Max M128-30
• Mellanox ConnectX-5 Ex
• CentOS 8.5
• DPDK 23.03

分组发生器和DUT使用100G网线背靠背连接。

针对相应操作系统，从Mellanox的网站[1]下载Mellanox网卡的MLNX_OFED。然后，使用此命令安装MLNX_OFED。如果系统中丢失了一些包，会有提示，可能需要重新启动。

Copy
./mlnxofedinstall --add-kernel-support --upstream-libs --dpdk --skip-repo

安装构建DPDK所需的其他软件包。

Copy
sudo yum install python3 meson ninja-build python3-pyelftools numactl-devel -y 

安装构建Pktgen-DPDK所需的软件包。

Copy
sudo yum install  libpcap-devel -y 

从DPDK网站https://fast.dpdk.org/rel/下载DPDK源代码，然后使用以下命令进行构建。

Copy
wget https://fast.dpdk.org/rel/dpdk-23.03.tar.gz 
tar zxf dpdk-23.03.tar.gz 
cd dpdk-23.03 
meson build 
ninja -C build 
sudo ninja -C build install 

DPDK库和二进制文件将安装在/usr/local/lib64和/usr/local/bin/。

本节只适用于包生成系统。从github下载Pktgen-DPDK源代码。由于Pktgen-DPDK使用前面章节中安装的DPDK库，请选择与DPDK版本相近的版本。然后使用以下命令进行构建:

Copy
export PKG_CONFIG_PATH=/usr/local/lib64/pkgconfig 
git clone [https://github.com/pktgen/Pktgen-DPDK.git](https://github.com/pktgen/Pktgen-DPDK.git)
cd Pktgen-DPDK 
make

在开始测试之前，应该在包生成器和DUT系统上应用一些设置。根据操作系统的不同，有些选项可能会有所不同。

在用作包生成器的系统上启动pktgen应用程序。在本例中，我们使用一个100G端口作为pkt发射器。

Copy
export PKG_CONFIG_PATH=/usr/local/lib64/pkgconfig 
cd Pktgen-DPDK 
./Builddir/app/pktgen --file-prefix pktgen -a 0000:01:00.0 -l 40-59 -n 8 -- -N -T -m [42-43:44-59].0

根据Pktgen的提示启用范围。

Copy
Pktgen:/> set 0 dst mac <mac> 
Pktgen:/> range 0 dst mac <mac> 00:00:00:00:00:00 00:00:00:00:00:00 00:00:00:00:00:00 
Pktgen:/> range 0 size 64 64 64 0 
Pktgen:/> enable 0 range 
Pktgen:/> start 0

下图是148.8Mpps发送数据包的截图，这是100G网卡接口的线路速率。

表1给出了不同报文大小下不同以太网链路速率的速率。

在被测系统上启动dpdk-testpmd应用程序。下面是一个示例(CMD-1)，具有1个核心和3个rx队列/3个tx队列。

Copy
(CMD-1) dpdk-testpmd --file-prefix testpmd -l 40-79 -n 8 -a 0000:01:00.0,mprq_en=1,rxqs_min_mprq=1,rxq_cqe_comp_en=1,rxq_pkt_pad_en=1,txq_inline_max=1024,txq_inline_mpw=1024,txqs_min_inline=1,txq_mpw_en=1 -- -i --rss-ip --nb-cores=1  --burst=128 --txq=3 --rxq=3  --mbcache=512 --rxd=1024 --txd=1024  -a

在本例中，我们通过启用Mellanox ConnectX-5, ConnectX-6网卡的多包Rx队列(MPRQ)，增强型多包写(eMPW)和CQE压缩来使用数据内联模式。这些特性可以在PCIe背压较大的情况下节省PCIe带宽，提高性能。但是，它会为数据复制消耗额外的CPU周期。当PCIe背压不高时，可能会影响性能。下面是另一个禁用数据内联模式的例子(CMD-2):

Copy
(CMD-2) dpdk-testpmd --file-prefix testpmd -l 40-79 -n 8 -a 0000:01:00.0,mprq_en=0,rxqs_min_mprq=1,rxq_cqe_comp_en=1,rxq_pkt_pad_en=1,txq_inline_max=0,txq_inline_mpw=0,txqs_min_inline=1,txq_mpw_en=1 -- -i --rss-ip --nb-cores=1  --burst=128 --txq=3 --rxq=3  --mbcache=512 --rxd=1024 --txd=1024  -a

CMD-1(内联模式)和CMD-2(非内联模式)单核的Rx/Tx比较如下:

当PPS值不高时，推荐使用CMD-2; PPS值较高时，推荐使用CMD-1。

Some useful commands of testpmd:

show port stats all – Display the statistics data of each port

show fwd stats all – Display the forward statistics of each port

clear port stats all – Clear the statistics data of each port

您可以通过增加核心数和txq/rxq数来实现线路速率。下面的截图显示Rx-pps和Tx-pps都是148.8Mpps。

有关dpdk-testpmd命令行选项的更多详细信息，请参考Testpmd应用程序用户指南。

有关Mellanox CX5和CX6的轮询模式驱动程序(pmd)的详细信息，请参见“MLX5轮询模式驱动程序”。

1. https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed
2. https://www.kernel.org/doc/html/latest/arm64/hugetlbpage.html
3. https://doc.dpdk.org/guides/testpmd_app_ug/
4. https://doc.dpdk.org/guides-19.11/nics/mlx5.html
5. https://pktgen-dpdk.readthedocs.io/en/latest/