Bekijk Volledige Versie : Hoe gaan jullie om met netwerk storingen?
mikevdbroek
11/04/17, 12:03
Beste WHT-ers,
Gister was er in Serverius DC2 te Meppel een netwerk storing (routing issues heb ik gehoord) en dat zette mij aan het denken. In sommige gevallen is het overmacht en kan je niks anders dan afwachten terwijl je in de tussentijd per mail of telefonisch om de haverklap door je klanten gebeld wordt met de vraag wat er aan de hand is.
Bij mij persoonlijk kan dat nogal stress opleveren. Je wilt het beste voor je klanten plus je hoopt niet dat ze hierdoor opstappen of in het ergste geval dreigen met claims.
Hoe gaan jullie hier mee om? Neem je altijd je telefoon op? Verwijs je mensen naar een NOC pagina of pak je het anders aan?
Ideeën en tips zijn van harte welkom :)
In mijn ogen hangt dat allemaal af van de situatie.
Contractueel, i.v.m. claims moet je rekening houden met calamiteiten/verstoringen buiten je macht.
Tevens altijd proberen de telefoon zo veel mogelijk op te pakken en klanten uit te leggen wat er aan de hand is.
Zodra duidelijk is dat een DC een storing heeft kun je dit mijn inziens gewoon uitleggen.
Verder verbind ik klanten nooit door of iets dergelijks naar het betreffende dc. Dit hoort mijn inziens niet omdat zij wel klant van jou zijn, maar zij zijn geen klant van de DC.
Natuurlijk heb ik het nu over een enkele calamiteit! Als dit soort zaken met enige regelmaat gebeurd dan zou ik overstappen naar een ander DC :)
Axel Polfliet
11/04/17, 14:25
Bij wat voor storing dan ook gebruiken we de daarvoor bij klanten bekende statuspagina. Als klanten bellen of mailen wordt er altijd naar deze pagina verwezen. We schakelen dus niet door en proberen indien mogelijk elke klant telefonisch, zij het kort, te woord te staan. Op die manier kunnen we de berichtgeving zo efficient mogelijk (en gecentraliseerd) laten verlopen.
Ook maken we gebruik van social media kanalen om de storing te melden en naar de statuspagina te verwijzen. Afhankelijk van de ernst van een storing mailen we achteraf een tijdspad (wanneer begon het, wanneer was het opgelost, waardoor werd het veroorzaakt en wat wordt er gedaan om herhaling te voorkomen). Als er een melding op de statuspagina staat dan staan hierover duidelijke verwijzingen op onze website en in ons klanten controlepaneel.
:-)
mikevdbroek
12/04/17, 08:56
Mooie tips! Ik zie hier voor ons nog wel verbetering in de communicatie naar klanten toe.
Je kan ook gebruiken maken van https://www.statuspage.io/. Wordt buiten je eigen netwerk gehost en dus bereikbaar bij storingen. Zo kan je kan je klanten voorzien van real-time updates.
Moet hier ook zeggen dat dat soort dingen dan fout loopt .. je bent zo bezig met het probleem dat je dat vergeet ..
We hebben daar cachet voor in gebruik , gratis en linkt hard op statuspages.io
Om deze reden heb ik een eigen telefooncentrale, waar ik simpel een tijdelijke introductietekst kan aanzetten. Iets in de trend van "Op dit moment is er een storing gaande. zie voor meer informatie onze statuspagina. Onze eerste prioriteit is het verhelpen van de storing. Onze excuses mocht het beantwoorden van de telefoon langer duren dan normaal". Tijdens het verhelpen van de storing probeer ik dit bericht te updaten naar een duidelijkere versie, maar dat heeft over het algemeen niet de eerste prioriteit.
Sowieso draait de eigen website, de status pagina en de telefooncentrale op een andere locatie dan de productie omgeving.
Ook nog een tip qua statuspagina/eigen website. Zet hier een cache voor. Bij een voormalige werkgever was bij een storing ook altijd snel de normale website uit de lucht, i.v.m. de drukte. Ik heb zelf mijn website zo ontwikkeld dat de home-pagina en de statuspagina in HTML wordt opgebouwd zodra er een update wordt geplaatst. Er wordt dus nooit dynamische code aangeroepen. Dit is makkelijker op te lossen met een Varnish oplossing ervoor overigens.
virtuality
13/04/17, 01:29
Mastje Dat is een mooie tip om overbelasting van de status pagina te voorkomen.
Wat betreft prioriteit tijdens een storing hanteren wij dat de storingsengineer blijft werken aan het oplossen ervan en een collega erbij betrekt die de informatie voorziening op zich neemt.
En dit is nou net de reden dat wij in oktober 2016 zijn vertrokken bij Serverius.
Wij melden een storing vaak via onze NOC pagina en via de mail. Klanten worden ook real-time via de mail op de hoogte gehouden. Tijdens een storing proberen we zo veel mogelijk klanten telefonisch te woord te staan, maar de prioriteit ligt bij het oplossen van de storing (waar dat voor ons mogelijk is).
systemdeveloper
13/04/17, 11:19
Ik plan mijn storingen altijd in de nacht waar niemand er last van heeft. Veel relaxter en eenvoudiger.
mikevdbroek
13/04/17, 11:30
systemdeveloper heb je wel gelezen waar dit topic over gaat? Misschien handig om even naar boven te scrollen.
systemdeveloper
13/04/17, 11:35
systemdeveloper heb je wel gelezen waar dit topic over gaat? Misschien handig om even naar boven te scrollen.
Ja hoor, heb ik gelezen. Zo ga ik er mee om :)
(ah, de sarcasme tag was weggevallen)
CharlieRoot
13/04/17, 11:58
Ik plan mijn storingen altijd in de nacht waar niemand er last van heeft. Veel relaxter en eenvoudiger.
Het is mijn ervaring dat storingen alleen optreden als de (systeem)beheerder op vakantie gaat. Kortom, bij ons gaat niemand meer op vakantie en voila. [/sarcasme]
OT:
Bij een echte storing vangt een callcenter onze oproepen deels af. In het begin had ik hier mijn twijfels over maar het callcenter wat we gebruiken is écht klantvriendelijk en we hoeven ze alleen te mailen dat er storing is zodat ze dit doorgeven aan de klanten die bellen.
advandeput
15/04/17, 22:38
Wij communiceren met klanten via de SMS via MessageBird. Klanten kunnen zich hiervoor opgeven en krijgen een SMS bij een storing
Even vanuit het oogpunt van een klant : als ik problemen ondervind, is het voor mij van secundair belang om te weten wanneer alles terug online is, ik wil gewoon zien of mijn hoster weet dat er iets aan de hand is. En natuurlijk bel ik dan, samen met 5000 andere klanten. Gevolg : mijn hoster zit continue aan de lijn ipv te werken aan het probleem.
Een zeer goede oplossing vind ik het volgende:
- Neem een kleine VPS af of desnoods een hostingpakket op een andere domeinnaam die je klanten kennen (bvb zet die op alle facturen, in de contracten, ...). Zet deze VPS of het hostingpakket NOOIT in je eigen datacenter of netwerk, maar ver weg. Voor mijn part zelfs buiten de EU.
- Van zodra er een storing is, zet deze onmiddellijk op de website welke deze VPS of hostingpakket host. Moet niks dynamisch zijn, gewone HTML voldoet prima!
- Als je een eigen voip server hebt : zet deze eveneens buiten het datacenter waar je aanwezig bent, en buiten je netwerk. Zo kan je snel een extra boodschap nalaten voor de bellers. Daar kan je dan snel een extra (vooraf opgenomen tekst) activeren : "er zijn momenteel storingen op ons netwerk, waar we met man en macht aan werken. Voor meer informatie kan u terecht op www.blablabla.com".
Zo hoef je niet continue allerhande klanten te woord te staan, en zijn je klanten geinformeerd.
virtuality
16/04/17, 18:12
IT-worX dus eigenlijk zeg je los het op met een goede informatie pagina maar ik wil net als 5.000 andere klanten toch graag bellen :)
Dat is ook onze ervaring met klanten. Daarom de strategie om altijd minimaal een extra engineer in te schakelen die de telefoon gaat bemensen.
Virtuality : absoluut. Ik ken het telefoonnummer van mijn provider vanbuiten (of staat in mn gsm), de noc pagina echter niet. Dus de eerste reactie van iedereen is meteen bellen. En als je dan dat bandje afspeelt dan is dat voor een héél groot deel van de klanten voldoende, en kijken ze op de NOC page. Maar een extra engineer om de telefoon op te nemen is wat idioot, niet? Zijn serieuze kosten op een moment dat je uw eigen engineers voor betere dingen kan gebruiken...
virtuality
16/04/17, 21:06
We hebben de overuren van een engineer er voor over zodat de storingsengineer zich volledig kan concentreren op het oplossen van het probleem.
Een bandje met verwijzing naar het NOC is voor veel klanten voldoende maar voor de grote managed services klanten is een persoonlijke benadering het aller belangrijkste.
Daarbij komt nog dat we ook klanten hebben waar we een DRP plan voor kunnen opstarten voor de failover locatie en dat werk kun je de storingsengineer ook niet mee belasten. Die heeft over het algemeen zijn handen al vol.
Maar een extra engineer om de telefoon op te nemen is wat idioot, niet? Zijn serieuze kosten op een moment dat je uw eigen engineers voor betere dingen kan gebruiken...
Ik zou hier ook geen engineer voor inzetten, eerder een support medewerker, receptionist of call-center, zoals eerder ook al werd gesuggereerd.
Daarnaast vind ik het zeker wel belangrijk dat mijn klanten weten dat wij serieus met het probleem bezig zijn. Het zijn niet alleen namelijk serieuze kosten voor jou als bedrijf, maar ook serieuze kosten voor jouw klant. En die moet ook weten dat je er serieus mee om gaat.
virtuality
16/04/17, 22:28
Mastje vertellen dat we er serieus mee bezig zijn is inderdaad de belangrijkste reden. En de focus op kosten in deze discussie lijkt me niet het belangrijkste. Het primaire punt blijft dat storingen grotendeels voorkomen kunnen en moeten worden en dat inderdaad cruciale informatie middelen als email, telefoon en NOC door moeten kunnen draaien. Hoe je die informatie voorziening optuigt, call center, SMS, extra medewerkers, maakt niet veel uit en is afhankelijk van je klanten.
slipperman
21/04/17, 05:18
Het idee van een voor ingesproken bandje bij storing gaan wij hier ook invoeren.
mikevdbroek
28/04/17, 17:19
Naar aanleiding van het starten van dit topic hebben we inmiddels de nodige maatregelen genomen, waaronder het integreren van de https://cachethq.io/. Nu is mij nog niet helemaal duidelijk hoe je met dit programma "realtime" statusupdates kan geven en bezoekers van de pagina zich kunnen abonneren voor een NOC mailinglist maar zal bibawa hier eens een PB over sturen.
Het idee van het bandje gaan we ook naar kijken. Zo blijft de klant op de hoogte, kunnen we ze doorverwijzen naar de storingspagina en kunnen wij in de tussentijd ons focussen op het verhelpen van de storing.