Onderwerp: Server lag sinds move naar andere Datacenter / Netwerk

@Dennis: Een terechte opmerking, bedankt voor de tip. En nu terug on-topic ;-)

Dan maar terug on-topic, heb zojuist nog even een traceroute gedaan:

Code:

 1  AIO-VPS.GW.gig0-2-102.dco.MyIP.be (81.95.117.33)  0.000 ms  0.000 ms  0.000 ms
 2  gig0-1-1.dco1.MyIP.be (81.95.113.18)  0.000 ms  0.000 ms  0.000 ms
 3  rt1.dco2.layer7.be (81.95.120.200)  0.000 ms  0.000 ms  0.000 ms
 4  91.206.84.10 (91.206.84.10)  4.001 ms  4.001 ms  4.001 ms

Ik denk dus dat de omschakeling van interoute naar belgacom het probleem niet gaat oplossen. Alhoewel dit wel wat ms van je latency zal halen, aangezien belgacom een beter verbinding naar brussel heeft. Maar volgens mij zit het probleem dus intern bij dco, aangezien de traceroutes die zowel Tim als ikzelf doen niet over interoute/belgacom gaan.

Verder ga je van hier uit al over Belgacom:

Code:

  5    27 ms    27 ms    27 ms  belbone.bnix.net [194.53.172.68]
  6    32 ms    32 ms    32 ms  80.84.20.245
  7    36 ms    35 ms    35 ms  rt1.dco2.layer7.be [81.95.120.200]
  8    36 ms    35 ms    36 ms  91.206.84.10

Code:

 3  ams-ix.belbone.net (195.69.144.87)  3.839 ms  4.785 ms  4.768 ms
 4  ams-bgc-r5-t3-4.car.belbone.be (80.84.18.75)  8.756 ms  8.742 ms  8.725 ms
 5  bru-11-r6-t2-3.car.belbone.be (80.84.18.160)  8.704 ms  8.685 ms  9.618 ms
 6  bru-11-r14-t1-2.car.belbone.be (80.84.18.220)  8.628 ms  8.674 ms  8.905 ms
 7  bru-11-r15-t1-3.car.belbone.be (80.84.18.206)  8.867 ms  8.856 ms  8.836 ms
 8  80.84.20.245 (80.84.20.245)  13.746 ms  13.738 ms  13.718 ms
 9  81.95.120.200 (81.95.120.200)  15.667 ms  15.654 ms  15.634 ms
10  91.206.84.10 (91.206.84.10)  16.613 ms  16.602 ms  16.580 ms

Om je nog een bewijs te geven, trace naar systray (die 113.18 is gateway op lcp hun router):

Code:

 1  AIO-VPS.GW.gig0-2-102.dco.MyIP.be (81.95.117.33)  0.000 ms  0.000 ms  0.000 ms
 2  gig0-1-1.dco1.MyIP.be (81.95.113.18)  4.000 ms  4.000 ms  4.000 ms
 3  portal.systray.be (81.95.114.160)  4.000 ms  4.000 ms  4.000 ms

Wat vragen:

• Over welke specifieke games gaat het?
• Het kan natuurlijk best zijn dat door de verhuizing iets anders is gebeurd (buiten het netwerk om) waardoor het nu niet goed draait
• Lag begint pas écht hinderlijk te worden als de latency veel fluctueert. Dan krijg je de "schokkerige" gameplay wat traditioneel aangemerkt wordt als lag. Daarnaast verschilt de impact hiervan ook per game. Bij bijvoorbeeld Half-Life of Half-Life 2 based games hoor je gamers hier veel sneller over klagen als bijvoorbeeld bij Battlefield games.
• Heeft de server zelf ook monitoring? Is het bijvoorbeeld niet gewoon zo dat de gameserver crasht (connection lost) en dan vanzelf weer online komt en iedereen weer kan joinen?
• Bij sommige games willen de master servers van de producent/developer ook nog wel eens voor problemen zorgen. Kan van toepassing zijn op boel games.

Het blijft altijd een lastig verhaal. Gamers hebben er ook een handje van om de boel te overdrijven omdat ze daarmee denken dat we het probleem dan serieuzer nemen. Dat is dus alles behalve slim om te doen. Een zeer belangrijke aanwijzing voor het oplossen van eventuele problemen is dat wij weten of iedereen of een bepaalde groep spelers er last van heeft. Op basis van mijn persoonlijke ervaring gaat het volgende op:

• Iedereen in de server problemen: meestal een hardwareprobleem (overbelasting) of een probleem met de gameserver zelf (mods/plugins die b0rken) of een netwerkprobleem wat zeer dicht bij huis zit.
• Bepaalde groep met problemen: bijvoorbeeld alleen spelers uit Duitsland. Dit zou wellicht een transit kunnen zijn dit loopt te flapperen. Of bijvoorbeeld een buitenlandse ISP waarvan de AMS-IX port vol zit (al vaak meegemaakt met dit soort issues).

Als het een serieuze klant is die dit soort dingen begrijpt, probeer dan zo goed mogelijk het probleem te analyseren. De verhuizing kan wellicht een trigger zijn voor een probleem (reboot van server misschien) maar hoeft niet direct de oorzaak te zijn.

Correlation does not imply causation!

Ik vermoed dat je in dit verhaal toch je even naar DCO moet keren. Lukt dit niet, mogelijk een andere oplossing zoeken voor die klant.

@Clanhost:
- Het gaat voornamelijk over BF2 en BF1942, er draait ook TS3 op die server en BF2xxx maar voor zover ik kan zien zijn deze amper in gebruik.

- Ik heb access tot die server, ja. Reliability monitor toont geen crashes van processen en load swingt ook niet bepaald de pan uit. Ik heb nu een aantal client IP's van BF2 eruit gehaald en zal deze even in de smokeping gooien en even traceroute doen voor deze. Ik heb echter geen idee hoe ik de gameserver processen zelf moet monitoren.

- De problemen blijken zich voor te doen voor alle spelers tegelijk, uit verschillende landen.

@Tim
Dat heb ik dus gedaan en het eerste wat ze nu gaan proberen is mij op BGC te gooien. Ik kijk morgen wat er verandert aan de connectie (voor zover ze het morgen effectief gaan uitvoeren, het zou de eerste keer zijn dat ik iets gedaan krijg in het weekend).

Oorspronkelijk geplaatst door kcalliauw

@Tim
Dat heb ik dus gedaan en het eerste wat ze nu gaan proberen is mij op BGC te gooien. Ik kijk morgen wat er verandert aan de connectie (voor zover ze het morgen effectief gaan uitvoeren, het zou de eerste keer zijn dat ik iets gedaan krijg in het weekend).

Hoop niet teveel veel geluk. Denk eerder intern wat zoals Dennis zegt.

Oorspronkelijk geplaatst door Tim.Bracquez

Hoop niet teveel veel geluk. Denk eerder intern wat zoals Dennis zegt.

Het rare is dat ik geen latency verlies heb naar Tim en Andere persoon in DCO maar wel naar je PI-range toe en systray. Ik weet dat DCO gebruik maakt van 3 Core Routers en verrmoedelijk is er dus een probleem op de Router (of switch) waar jij toevallig en systray opzitten die de latency veroorzaakt. Zoals ik dus al eerder vertelde zit jij hier bij mij al via Belgacom dus je lijn switchen naar belgacom zal niet veel nut hebben, tenzei ze je over andere router steken.

Heb dit ooit ook eens meegemaakt in een ander datacenter en daar bleek een blade van de coreswitch de boosdoener te zijn. Dus misschien even vragen of ze je op totaal andere patch, switch en router kunnen zetten.

Oorspronkelijk geplaatst door kcalliauw

De problemen blijken zich voor te doen voor alle spelers tegelijk, uit verschillende landen.

Afgaand op wat ik tot nu toe heb gelezen ga ik mee in de analyse van Dennis. Het probleem zit dicht bij huis. Aangezien je hebt aangegeven dat de serverbelasting verder in orde er en er ook geen crashes zijn van de gameserver processen lijkt me - door middel van eliminatie - dat een netwerkprobleem de oorzaak is. Er zijn wel wat problemen geweest met de back-end van EA DICE onlangs maar dat was alleen voor Medal of Honor. Je uplink naar een andere router toe verplaatsen, zoals Dennis zegt, lijkt me handig om te checken of dat wellicht de oorzaak is.

@The-BosS: Misschien is het een idee op pings/traceroutes niet vanuit een virtuele server die 'jiffies' als clocksource gebruik te gaan doen? Dit verklaart de 0.0ms tov 4.0ms (1 jiffie bij default 250Hz kernelclock = 4ms). Clocksource veranderen in 'xen', ofwel gewoon uit een fysieke omgeving testen om mee bruikbare waarden te krijgen.

@TS: Heb helaas geen adviezen, zelf ook wel eens met dit soort problemen gezeten, en los van de andere switchpoort/blade (heeft mij idd ook eens geholpen) zijn dit vaak problemen die bijna niet op te lossen zijn.

Hou er wel rekening mee dat het gamers blijven. Enkele jaren terug ook in die business gezeten en toen werd er ook meteen verteld dat er lag was. Wanneer ik zelf in de server zat had ik nergens last van, heel toevallig.
Mocht je zelf beschikken over de games, zou zelf eens gaan kijken.

Interroute overigens altijd gebruikt enkele jaren terug en nooit problemen gehad.

Oorspronkelijk geplaatst door Kippenijzer

@The-BosS: Misschien is het een idee op pings/traceroutes niet vanuit een virtuele server die 'jiffies' als clocksource gebruik te gaan doen? Dit verklaart de 0.0ms tov 4.0ms (1 jiffie bij default 250Hz kernelclock = 4ms). Clocksource veranderen in 'xen', ofwel gewoon uit een fysieke omgeving testen om mee bruikbare waarden te krijgen.

Speciaal op jouw aanvraag dan even nieuwe mtr's gedaan zodat packet loss te zien. Trouwens aan de hand van de gateway/reverse moet je er ook niet automatisch van uit gaan dat die over een VM gaat.

Interne mtr vanaf fysieke server naar PI-range TS:

Code:

                                       Packets               Pings
 Host                                Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. AIO-VPS.GW.gig0-2-102.dco.MyIP.b  0.0%  1002    0.4   0.2   0.2   1.7   0.2
 2. 81.95.113.18                      0.1%  1002    1.0   0.5   0.3  14.5   0.8
 3. rt1.dco2.layer7.be                0.9%  1002    2.4   2.1   1.9  10.9   0.6
 4. 91.206.84.10                      0.3%  1002    3.4   2.5   2.2  19.4   0.9

Interne mtr naar vanaf fysieke server naar fusa:

Code:

                                       Packets               Pings
 Host                                Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. AIO-VPS.GW.gig0-2-102.dco.MyIP.b  0.0%  1019    0.3   0.2   0.2   1.6   0.2
 2. 81.95.113.18                      0.0%  1018    0.4   1.2   0.3 525.6  18.4
 3. ns4.fusa.be                       0.1%  1018    2.1   2.4   1.9  37.8   2.5

Externe mtr vanaf fysieke server naar PI-range TS:

Code:

                                       Packets               Pings
 Host                                Loss%   Snt   Last   Avg  Best  Wrst StDev
 5. belbone.bnix.net                  0.0%  1002   26.0  30.9  25.4 228.5  24.8
 6. 80.84.20.245                      0.0%  1001   31.1  33.7  30.8 653.8  32.5
 7. rt1.dco2.layer7.be                0.2%  1001   35.6  36.3  34.7 129.5   6.8
 8. 91.206.84.10                      0.3%  1001   35.9  41.1  35.0 4443. 139.7

Externe mtr vanaf fysieke server naar mijn eigen webserver:

Code:

                                       Packets               Pings
 Host                                Loss%   Snt   Last   Avg  Best  Wrst StDev
 5. belbone.bnix.net                  0.0%  1336   26.4  29.5  25.5 258.4  21.2
 6. 80.84.20.245                      0.0%  1336   31.3  33.7  30.8 648.2  28.2
 7. 81.95.113.19                      0.0%  1336   31.5  32.8  30.9 205.2  12.0
 8. private-hosting.web2.All-In-One.  0.0%  1336   37.0  32.9  31.0 199.0  11.0

Blijkt dus duidelijk uit dat de TS meer last heeft van package loss (zowel intern als extern dan Tim of ikzelf), verder valt het mij op dat op TS zijn router de latency extern 4ms hoger ligt.

Even ter verduidelijking van de ip adressen de 113.18 is gateway van mijn router naar LCP, de 113.19 is mijn router.

Hey,

Ik zou me van de packet loss die getoond wordt door 'mtr' al niet meer teveel aantrekken. Eenvoudige ping -f testjes tonen immers geen packet loss.

Dennis, zat jij in DCO1? Als ik mtr naar jouw webserver ( passeer ik Brussel ;-)

Code:

koen@node1:~$ traceroute private-hosting.web2.All-In-One.be
traceroute to private-hosting.web2.All-In-One.be (81.95.117.42), 30 hops max, 60 byte packets
 1  gw-lcp.dco2.layer7.be (81.95.120.193)  1.831 ms  1.957 ms  2.138 ms
 2  Gi4-0-232.bru-leu-access-1001.interoute.net (89.202.150.17)  2.147 ms  2.137 ms  2.126 ms
 3  PO9-0.bru-leu-access-3.interoute.net (212.23.41.90)  2.282 ms  2.282 ms *
 4  89.202.150.198 (89.202.150.198)  3.287 ms  3.366 ms  3.388 ms
 5  81.95.113.19 (81.95.113.19)  3.308 ms  3.304 ms  3.295 ms
 6  private-hosting.web2.All-In-One.be (81.95.117.42)  3.535 ms  4.505 ms  4.460 ms

@Kippenijzer: zijn die 'jiffies' ook van toepassing op KVM?

Vandaag hebben de mensen bij DCO een en ander van probleemkes met routering opgelost, maar vraag me niet precies wat. Ik hoor eens of het vanavond beter gaat.
Alvast bedankt voor de talrijke reacties!

/K

Oorspronkelijk geplaatst door kcalliauw

Dennis, zat jij in DCO1? Als ik mtr naar jouw webserver ( passeer ik Brussel ;-)

Dat is logisch omdat DCO1 en DCO2 2 volledig verschillende netwerken hebben. Hadden ze vermeld dat ze dit zo gingen doen, of het nu al 100% zo actief is, dat is iets anders (denk aan de migratie van DCO1 naar DCO2). Indien je een link tussen DCO1 en DCO2 wenst moet je dit bij hun kopen... Waarbij normaal in DCO2 het budget netwerk vermoedelijk enkel interroute zal zijn.

EDIT: of zit jij ook nog in DCO1?

Vanaf Nedzone en (oud) Scarlet netwerk wel problemen door af en toe loss met de gewone ping. Maar niet direct iets om zorgen over te maken.

Hun weekend is dan blijkbaar uitgelopen? :-) Troost je hier staan al langer tickets open die ik dit weekend maar gesloten heb omdat ze het toch niet oplossen.

Oorspronkelijk geplaatst door kcalliauw

Hey,

Ik zou me van de packet loss die getoond wordt door 'mtr' al niet meer teveel aantrekken. Eenvoudige ping -f testjes tonen immers geen packet loss.

Dennis, zat jij in DCO1? Als ik mtr naar jouw webserver ( passeer ik Brussel ;-)

Code:

koen@node1:~$ traceroute private-hosting.web2.All-In-One.be
traceroute to private-hosting.web2.All-In-One.be (81.95.117.42), 30 hops max, 60 byte packets
 1  gw-lcp.dco2.layer7.be (81.95.120.193)  1.831 ms  1.957 ms  2.138 ms
 2  Gi4-0-232.bru-leu-access-1001.interoute.net (89.202.150.17)  2.147 ms  2.137 ms  2.126 ms
 3  PO9-0.bru-leu-access-3.interoute.net (212.23.41.90)  2.282 ms  2.282 ms *
 4  89.202.150.198 (89.202.150.198)  3.287 ms  3.366 ms  3.388 ms
 5  81.95.113.19 (81.95.113.19)  3.308 ms  3.304 ms  3.295 ms
 6  private-hosting.web2.All-In-One.be (81.95.117.42)  3.535 ms  4.505 ms  4.460 ms

@Kippenijzer: zijn die 'jiffies' ook van toepassing op KVM?

Vandaag hebben de mensen bij DCO een en ander van probleemkes met routering opgelost, maar vraag me niet precies wat. Ik hoor eens of het vanavond beter gaat.
Alvast bedankt voor de talrijke reacties!

/K

Dan is hun routing wel goed fucked-up zou ik zeggen, want ik sta in dco1 jah. Kun je toch zien aan mijn ip range. Snap dan wel niet goed waarom het van mij naar jou dan wel intern blijft en omgekeerd niet. Doe eens een trace naar fusa om te zien of die intern blijft of niet.

Code:

traceroute to 81.95.120.193 (81.95.120.193), 30 hops max, 40 byte packets
 1  AIO-VPS.GW.gig0-2-102.dco.MyIP.be (81.95.117.33)  0.349 ms  0.227 ms  0.216 ms
 2  81.95.113.18 (81.95.113.18)  2.214 ms  2.208 ms  2.412 ms
 3  gw-dco.dco2.layer7.be (81.95.120.193)  6.642 ms  6.627 ms  3.461 ms

Code:

traceroute to 81.95.117.42 (81.95.117.42), 30 hops max, 40 byte packets
 1  VPSNODE-4.AIO.be (81.95.117.131)  0.334 ms  0.258 ms  0.241 ms
 2  AIO-VPS.GW.gig0-2-104.dco.MyIP.be (81.95.117.129)  0.613 ms  0.352 ms  0.321 ms
 3  private-hosting.web2.All-In-One.be (81.95.117.42)  0.626 ms  0.832 ms  0.609 ms

Ter info: ik sta ook in dco1 (reverse dns staat al op dco2 ter voorbereiding van een move naar daar).
Ik neem dit even op met hen.

edit: fusa blijft intern

/K