Onderwerp: Interessant probleem met KVM en networking

Een paar dagen geleden keek ik raar op toen mijn traffic graph opeens rare sprongen begon te maken.
Wanneer ik een backup transfer vanaf een VPS (upload dus) naar mijn thuisserver, wat maximaal 60Mbit kan halen (mijn internet verbinding), 'ziet' mijn node dit als honderden mbit/s uitgaand netwerkverkeer. Onder normale omstandigheden (en wanneer ik dus niet upload), geeft vnstat gewoon normale traffic waarden aan.

Wat ik nou niet begrijp is dat wanneer ik download in de VPS(en) er correcte waarden worden weergegeven (voor zowel eth0 als vnet interfaces), maar wanneer ik upload vanaf de VPS(en), de vnet interfaces de correcte waarden geven maar de eth0 interface op de host NIET.

Ter illustratie van het verschijnsel/probleem heb ik wat plaatjes bijgevoegd.

Wat kan er mis zijn?

Server draait CentOS 6.0 final (64bit), waarop KVM met bridged networking staat geconfigureerd. De server heeft 1 gigabit uplink. De VM's draaien allen met virtio drivers.

Overigens doet de node zelf niets met traffic, dus de overtollige data kan niet van de node zelf afkomstig zijn.

brctl show:

Code:

bridge name     bridge id               STP enabled     interfaces
internal                8000.fe5400884968       no              vnet4
                                                        vnet5
vmbr0           8000.003048b92112       no              eth0
                                                        vnet0
                                                        vnet1
                                                        vnet2
                                                        vnet3

ifconfig -a:

Code:

eth0      Link encap:Ethernet  HWaddr 00:30:48:B9:21:12
          inet6 addr: fe80::230:48ff:feb9:2112/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:192870636 errors:0 dropped:14 overruns:0 frame:0
          TX packets:152392514 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:179530622071 (167.2 GiB)  TX bytes:1521562531955 (1.3 TiB)
          Interrupt:16 Memory:faee0000-faf00000

eth1      Link encap:Ethernet  HWaddr 00:30:48:B9:21:13
          BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)
          Interrupt:16 Memory:fafe0000-fb000000

internal  Link encap:Ethernet  HWaddr FE:54:00:88:49:68
          inet addr:34.90.0.1  Bcast:34.90.255.255  Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:2136699 errors:0 dropped:0 overruns:0 frame:0
          TX packets:1872539 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:121105227 (115.4 MiB)  TX bytes:348812966 (332.6 MiB)

lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:453365 errors:0 dropped:0 overruns:0 frame:0
          TX packets:453365 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:542737204 (517.5 MiB)  TX bytes:542737204 (517.5 MiB)

venet0    Link encap:UNSPEC  HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
          inet6 addr: fe80::1/128 Scope:Link
          UP BROADCAST POINTOPOINT RUNNING NOARP  MTU:1500  Metric:1
          RX packets:77464 errors:0 dropped:0 overruns:0 frame:0
          TX packets:159816 errors:0 dropped:1 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:30102562 (28.7 MiB)  TX bytes:207620303 (198.0 MiB)

vmbr0     Link encap:Ethernet  HWaddr 00:30:48:B9:21:12
          inet addr:178.21.23.152  Bcast:178.21.23.255  Mask:255.255.255.0
          inet6 addr: fe80::230:48ff:feb9:2112/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:21030991 errors:0 dropped:0 overruns:0 frame:0
          TX packets:5167429 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:18281409709 (17.0 GiB)  TX bytes:1003260299 (956.7 MiB)

vnet0     Link encap:Ethernet  HWaddr FE:54:00:12:E4:3F
          inet6 addr: fe80::fc54:ff:fe12:e43f/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:1740932 errors:0 dropped:0 overruns:0 frame:0
          TX packets:8822949 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:500
          RX bytes:1045848299 (997.3 MiB)  TX bytes:1255529658 (1.1 GiB)

vnet1     Link encap:Ethernet  HWaddr FE:AD:88:F7:86:46
          inet6 addr: fe80::fcad:88ff:fef7:8646/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:57443359 errors:0 dropped:0 overruns:0 frame:0
          TX packets:104029962 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:500
          RX bytes:8541423609 (7.9 GiB)  TX bytes:120545513989 (112.2 GiB)

vnet2     Link encap:Ethernet  HWaddr FE:AD:28:A5:75:3D
          inet6 addr: fe80::fcad:28ff:fea5:753d/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:15241987 errors:0 dropped:0 overruns:0 frame:0
          TX packets:22433891 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:500
          RX bytes:8584972810 (7.9 GiB)  TX bytes:9133449413 (8.5 GiB)

vnet3     Link encap:Ethernet  HWaddr FE:AD:6D:05:A7:CE
          inet6 addr: fe80::fcad:6dff:fe05:a7ce/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:19084159 errors:0 dropped:0 overruns:0 frame:0
          TX packets:46261949 errors:0 dropped:0 overruns:242 carrier:0
          collisions:0 txqueuelen:500
          RX bytes:75538017331 (70.3 GiB)  TX bytes:9330610029 (8.6 GiB)

vnet4     Link encap:Ethernet  HWaddr FE:54:00:88:49:68
          inet6 addr: fe80::fc54:ff:fe88:4968/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:1354948 errors:0 dropped:0 overruns:0 frame:0
          TX packets:1119076 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:500
          RX bytes:83729511 (79.8 MiB)  TX bytes:262491908 (250.3 MiB)

vnet5     Link encap:Ethernet  HWaddr FE:AD:A2:B8:2C:26
          inet6 addr: fe80::fcad:a2ff:feb8:2c26/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:791502 errors:0 dropped:0 overruns:0 frame:0
          TX packets:808458 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:500
          RX bytes:67520891 (64.3 MiB)  TX bytes:89491717 (85.3 MiB)

cat /etc/network-scripts/ifcfg-eth0

Code:

DEVICE=eth0
BOOTPROTO=none
HWADDR="00:30:48:B9:21:12"
ONBOOT=yes
TYPE=Ethernet
BRIDGE=vmbr0

cat /etc/network-scripts/ifcfg-vmbr0

Code:

ONBOOT=yes
TYPE=Bridge
DEVICE=vmbr0
BOOTPROTO="static"
IPADDR="178.21.23.152"
NETMASK="255.255.255.0"
GATEWAY="178.21.23.1"

^ Dit is terwijl de web VPS (vnet3) een backup transferred naar mijn thuisserver (via DirectAdmin) en ik tegelijkertijd een speedtest file download. Je ziet vervolgens dat de vnet3 op de node de correcte network traffic weergeeft, maar de eth0 van de node bij de TX onrealistische waarden neerzet. RX is dus in orde, TX doet vreemd.


^ Munin traffic graph, zoals gezien vanuit de host zelf


PS: Ik kan geen absolute traffic aantallen krijgen (hetgeen dat daadwerkelijk over de uplink gaat) omdat dit (nog) niet per poort wordt gemeten.