TCPA和BBR测试对比报告

公司内部针对部分业务的下载场景，对TCP协议栈就行了参数，代码逻辑层的优化，以达到客户端访问的快速的体验。在研发过程中，Google发布了BBR，并把它集成到4.9内核中。测试时，最新的内核是4.15. 为了评估TCPA版本跟BBR的性能对比，我们使用了4.15版本的BBR和我们正式发布的TCPA来进行性能对比。本测试报告，主要是通过第三方的博睿来评估在不同文件大小下，TCPA和BBR之间的性能差异。

测试结果

说明：

• 第一轮测试(详细数据见1)和第二轮测试(详细数据见5.2)的参数配置相同。因此取其平均值作为测试结果。
• “纵向性能对比”是指，BBR默认配置，TCPA启用后默认配置时，“2次测试平均值”中, TCPA相比TCP，TCPA相比BBR的测试结果。

测试结论：

1.BBR算法相比标准的TCP的cubic算法，性能提升明显。小文件差异不大；大文件的下载性能明显，约35%左右。

2.TCPA的启用，外加系统参数优化后， 大小文件均比标准的TCP提升40%以上。

3.TCPA的启用，外加系统参数优化后，小文件比BBR能提升40%以上，大文件比BBR能提升5%~10%。

TCPA简介

这个是TCPA，发送数据包和接收应答包后的处理逻辑图。一共包括9个模块。应用程序通过sendfile，write等发送的后，交由内核的数据包构建模块来处理，最终生成一个个SKB并放入发送队列中。平缓发送模块，根据拥塞控制模块所产生的发送速度/发送窗口值来平缓地将这些数据(无论是新数据，还是重传数据)发送到网络中，本身并不会决策发送的速率，只会按照给定的速度/发送窗口来执行。超时模块用来决策哪些数据包超时，并重传，最终会交给平缓发送模块来发送。Probe探测模块，是依据网络的特定需要，构造一些数据包来探测网络的质量情况。发送是交给平缓发送模块来发送，接收到的应答包，会将Probe应答包交给Probe模块来处理。收到应答包后，如果有SACK则单独处理SACK,SACK的处理逻辑比较复杂，需要知道哪些数据包被应答，哪些未被应答，需要对重传队列进行标记。并且也会根据sack中的应答来判断哪些报文丢包了，当前网络中的RTT值变化等。这里会给丢包检测模块，拥塞控制模块提供判断信息。

丢包检测模块，用来判断哪些数据包已经丢弃，比如快速重传，RACK等算法。这里只去标记丢弃的报文，具体的重传由重传包处理模块来执行。

拥塞控制算法，用来判断当前网络链接情况，并据此来决定当前发送的速度和发送窗口值。不同的拥塞算法所依赖的判断信息不同。 窗口的增减均由这里来判断。这里会依赖SACK模块，丢包检测模块，RTO超时模块，probe模块等给予关键信息。

重传数据包模块和新数据发送模块相对比较简单，将数据整理好后，交给平缓发送模块来发送。

所以，总的来说，TCPA的修改不仅仅是对拥塞算法的修改，也对收发包的整个逻辑进行了重构。对于系统已有的功能，我们额外还提供了可调整的参数接口，供使用。比如小表中列举了部分调整的参数：

net.core.wmem_max = 3276800

net.ipv4.tcp_fack = 0

net.ipv4.tcp_init_cwnd = 10

net.ipv4.tcp_loss_init_cwnd = 1

net.ipv4.tcp_mem = 379479      505972  758958

net.ipv4.tcp_metrics_minrtt = 0

net.ipv4.tcp_rto_max = 120

net.ipv4.tcp_rto_min = 200

net.ipv4.tcp_timestamps = 1

net.ipv4.tcp_wmem = 4096       16384   4194304

测试方案

使用第三方博睿进行测试。一共进行了2轮的测试，第一个测试周期：12.9的0点~12.11的0点，共两天。第二个测试周期12.12的0点到12.14的0点。

TCPA安装包安装后使用默认配置进行测试。最新内核BBR和标准内核均采用默认内核的配置进行测试。

3台服务器属于同一个机房，配置全国的电信(服务器属于电信运营商)测试任务进行测试。

详细的测试任务名和测试URL如下。

测试详细结果

静态下载测试(第一轮)

测试周期：12.9的0点~12.11的0点，共两天。

对于小文件(小于640KB)而言，BBR基本跟标准的TCP性能相当；而TCPA相比BBR提升了至少40%。

对于大文件(大于8MB)而言,BBR相对应标准的TCP性能提升明显，幅度在30%左右。而TCPA提升的性能更高，比BBR还有高7%~11%。

博睿结果截图：

静态下载测试(第二轮)

测试周期：12.12的0点~12.14的0点，共两天。

对于小文件(小于640KB)而言，BBR略微比标准的TCP性能好些，约10%左右。而TCPA相比BBR提升了至少40%。

对于大文件(大于8MB)而言,BBR相对应标准的TCP性能提升明显，幅度在30%左右。而TCPA提升的性能更高，比BBR还有高4%~8%。

博睿结果截图：

附录

1.测试环境

(注：这三台服务器属于同一个IDC机房内)

2.bbr的环境配置

(1)添加配置cat /etc/sysctl.conf

net.core.default_qdisc=fq

net.ipv4.tcp_congestion_control=bbr

(2)执行sysctl –p /etc/sysctl.conf