openstack测试neutron qos小测试

admin

测试qos过程
; O; w6 r3 {1 y5 ^! t测试环境介绍
* Q; l1 \4 S2 n* Z
- A' x( |( N* @( b/ m创建两个网络，每个网络下创建一台虚拟机，将两个网络绑在同一个路由器下面，通过iperf测试两台虚拟机之间的带宽。
0 ~; P7 z' S$ \) s4 z5 u" H; i0 s
首先创建两个网络，分别是t2cloud_net1(172.160.1.0/24)和t2cloud_net2(172.160.2.0/24)，两个网络下各创建一台虚拟机，分别是qosvm1和qosvm2。

( J/ b* c8 \! [/ c9 Y* C1 {3 A接下来创建路由器router，将两个网络绑定在路由器下，路由器出口选择外部网络external_net。

- O/ A% A& t# S  K' ]网络拓扑如下

( N: y5 }2 E* L/ ~
/ C, F1 y: j5 s  ~0 Q* E& \5 Z2 ?接下来要做的就是查询虚拟机网卡对应port的信息，以qosvm1为例。

, d" o5 U. P; e0 j+ @. |+ ^( Yneutron port-list |grep 172.160.1.


& \$ S! X5 m8 [6 K172.160.1.1为网关地址，172.160.1.2和172.160.1.3为两个dhcp服务地址，172.160.1.4为qosvm1虚拟机地址。
' F! a4 j8 Q0 s* O
查看虚拟机所在节点
/ U9 ?1 [5 l2 ~' ~( N
! d8 T9 ~7 l/ F  a$ Znova list--all |grep qos

nova show b40056c3-b9ce-4031-8125-96a7a79f74a2

4 p* Z: p! v. s6 ?# M可以看到qosvm1虚拟机在sr-computer-27计算节点上

9 }$ ]7 Q" E8 f1 D2 w
登录到sr-computer-27计算节点上，查看网络对应的网桥和虚拟机网卡tap设备号（neutron中一个网络对应物理机上的一个网桥，虚拟机网卡对应网桥上一个tap设备）。

! Z" A9 P6 q9 v! tneutron net-list |grep t2cloud_net1

brutl show
+ S$ y% e% E( D
; {4 Z( J8 k7 ~! L5 q$ g9 ~5 S
. k, t0 m  w5 Z! g9 n查询路由器所在物理节点

9 p1 X& ]  l2 [* Z2 h# [4 ]neutron router-list|grep router

* a% j+ A0 _4 b8 z* Gneutron l3-agent-list-hosting-router 7aa3ebbe-34a3-47e8-ab06-2e7f89b6053f
. B) c+ @, d2 {' T; ]
可以看到路由器在sr-compuer-28节点上

) X; M; X: t' X: z8 T
qosvm2也采用上述方法来获取相关信息。

总结一下上面查询的结果
% n" ~1 R1 L+ l3 g. T3 ?& ~
虚拟机qosvm1在计算节点sr-computer-27上，网卡对应tap设备tap9873a7ae-41，所在网络对应网桥为brq307fde1c-61，网桥出口vxlan-85。
. }) @% b% `+ w2 i+ }3 s
/ q% p& I& V* R! L5 ?2 ]  M虚拟机qosvm2在计算节点sr-computer-32上，网卡对应tap设备tap0b55bd71-2f，所在网络对应网桥为brqf8fd20d0-e6，网桥出口vxlan-6。

8 ]5 ]6 |+ l' ], c( i0 R2 U3 v路由器router在节点sr-computer-28(计算+网络混合节点)上，对应名称为qrouter-7aa3ebbe-34a3-47e8-ab06-2e7f89b6053f，连接net1设备为tapa64b82b1-e4，连接net2设备为tap460865e7-03，暂时不考虑dhcp服务。

" M& z' ~! s  n9 r3 P根据查询结果，以下是简化的拓扑图


- f1 J" W( H/ b7 [* r带宽测试
qosvm1如果与qosvm2通信，需要经过网络节点上的虚拟路由来转发

4 ^. S2 Z. m* ^7 x- S" n* W首先不做任何限制，用iperf来测试qosvm1和qosvm2之间的网络带宽，qosvm1（172.160.1.4）做client端，qosvm2（172.160.2.4）做server端。

在server端运行iperf -s
# A: a! H" s! i, D
然后client运行 iperf -c 172.16.2.4 -i 1 -t 5 –r
* r( Y0 U% @) l% y
实际测试中可以运行更长时间，得出一个更稳定的值


不做任何限制的情况下，qosvm1对qosvm2的上传带宽为596Mbits/sec，下载带宽为693Mbits/sec
7 n8 l* n0 j: e. M# z$ X1 y' a) F
/ j3 U, x, Z- E对计算节点sr-computer-27 上的tap9873a7ae-41设备进行限制，限制上传带宽100Mbps，下载带宽200Mbps
! a0 f7 ^/ _% ^+ f6 [; T% H4 V
首先创建qos策略

1 }: F3 Y  S& Y* sneutron qos-policy-create  --shared t2cloud_qos

& r# {5 o& }1 x1 m" _
然后创建对应规则，分别限制上传带宽和下载带宽

neutron qos-bandwidth-limit-rule-create --max-kbps=100000 --max-burst-kbps=100000 t2cloud_qos --direction ingress
/ [4 O! j1 L% z+ ?$ i" L
neutron qos-bandwidth-limit-rule-create --max-kbps=200000 --max-burst-kbps=200000 t2cloud_qos
% _( s  B0 R( n  V0 T4 q" g8 x

需要注意的是，端口的ingress对应虚拟机的上传带宽，egress对应虚拟机的下载带宽

将qos规则与虚拟机对应的port绑定

neutron port-list |grep 172.160.1.4
1 O, D3 I4 w1 k7 E9 x
- M( x2 T1 q& p2 ?neutron port-update --qos-policy 0be11a7d-97e3-4dd9-a74e-616e7bdf65c99873a7ae-41ad-4b30-8c3e-1167a7e1c3bd
" T1 X$ Z; X; ]$ w% {0 T  L
$ a/ Y% A4 h( W$ q" |1 B! {neutron port-show 9873a7ae-41ad-4b30-8c3e-1167a7e1c3bd


% g0 Q# |2 ~: P因为neutron 的qos最终是通过linux tc来实现。可以使用tc命令查看设置是否生效

tc qdiscshow dev tap9873a7ae-41

tc filtershow dev tap9873a7ae-41 parent ffff:

1 A8 Y8 _9 m$ O5 ?7 y
再次用iperf测试带宽
$ H# O" r# K' l+ d. U
可以看出，稳定值基本限制在qos限制的范围内
# @) e, ]4 ^! L: e
9 h1 L( j  v" K0 ^8 M; o6 j测试总结
以上测试了qos中最简单的场景，通过限制虚拟机网卡对应tap设备来限制虚拟机之间的通信带宽，过程中有过一些困惑和问题，现总结如下：
( Z" w, h8 n" {% P! k9 J
Iperf使用tcp测试带宽，短时间内的数据不是特别准确，特别是带宽上限的测试，因此尽可能测试时间长点，得出一个稳定的带宽值
. L. Z+ }. r" o- Q
关于max-kbps和max-burst-kbps的理解，max-kbps比较容易理解，就是最大带宽，max-burst-kbps在tc里面会转成字节单位burst，指的是令牌桶的大小，如果桶中有多余的令牌，允许短暂的突发流量通过，也就是说令牌桶越大，也就允许更多的突发流量通过。
; A- R$ x+ L* F0 k. }9 n! B9 ^
neutron还可以对一个网络设置qos1，这样所有创建在该网络下的虚拟机都会使用该qos1，如果对虚拟机再单独设置qos2，那么对于该虚拟机来说，只有qos2生效。目前对网络设置的qos只会作用于虚拟机对应的port，不会影响其他port(例如dhcp)。

$ P+ _. g: W8 W
; V/ i4 A! s; B8 e1 I1 Z2 f' w/ H% e