Heftige Storing Ermis - Fallback Service - Monitoring Service

Op de nacht van vrijdag naar zaterdag is er iets goed misgegaan bij Ermis.
Een grootschalige storing met downtime die zijn weerga niet kent, sommige klanten hebben nog last van dit probleem.
Onze hostingpakket werd ook getroffen door dit nog onbekende probleem.
Onze site lag ongeveer 22 uur down en onze mail werd pas na 36 uur hersteld. Blijkbaar heeft Ermis wel iets van een fallback mailserver, er is mail die tijdens de storing naar ons is verstuurd wel weer bezorgd maar niet alles.
We weten ook dat er mails zijn verstuurd die nu nog steeds niet bij ons is aangekomen. Waarschijnlijk kunnen we deze mail als verloren worden beschouwen of deze moeten nog met vertraging bij ons binnenkomen. We krijgen sowieso een mails van klanten en zakelijke relaties die vragen of wij hun laatste mail hebben ontvangen en waarom we niet reageren op hun laatste mail die we door de storing niet hebben ontvangen.

Allereerst kan bij de beste hosting bedrijf iets gebeuren waardoor alles plat ligt.

Maar wat ons en andere klanten verbazen dat de storing zolang moest duren en dat er zo laat communicatie vanuit Ermis heeft plaats gevonden. Het zal wel onmacht zijn want Ermis heeft de hele weekend nodig om alles te moeten herstellen. Het schijnt dat we morgen ochtend weten wat er precies is misgegaan op de nacht van vrijdag naar zaterdag.

Nu terugkijkend op deze downtime en vooruit kijkend op te toekomst willen we kijken hoe we bij een nieuwe storing (bij Ermis of waar dan ook) onze mail dusdanig kunnen behouden.

Er blijkt een service systeem te zijn die die mail fallback heet.
Nu willen we deze apart naast onze host laten draaien, zodat bij een nieuwe storing alle mail blijft behouden.

Nu zien we dat er bedrijven zijn die deze service "Ingebakken" heeft in hun hosting pakketten, maar ook deze service apart aanbieden.
Bijvoorbeeld:

- iXL Hosting
- QDC Internetservices
- Ospito Internet
- Broekhuis Automatisering
- Xela Hosting
- Acea Hosting
- Qweb
- Sedon Internet & ICT Diensten
- Jouwhost.nl
- IT en Hosting Inet4U
- Benk Groep
- Mijn-Sleutel.com

Wie heeft er ervaringen met deze bedrijven en hun service?
Is het zo gemakkelijk? fallback pakket bestellen, DNS instellingen aanpassen en klaar is kees?

Is het daarnaast ook mogelijk om een fallback site op te zetten? Dus wanneer er een downtime is op onze site, deze overgenomen wordt door een andere host, die een pagina van ons beheerd met daarop de melding dat we storing hebben en offline zijn?

Daarnaast ook op zoek naar een monitoring service, een service die ons op de hoogte houd via mail of sms wanneer we offline zijn.
Welke bedrijven bieden dat aan en wie heeft ervaring met deze service?

Inderdaad vervelend voor Ermis.
Tevens is hun website nog steeds offline.
Er is ook helemaal geen route beschikbaar naar hun website:
https://snapr.pw/i/1f8a5b00d1.png

Zie nu net dat ik een schrijf fout heb gemaakt in het onderwerp "Fallbackback Service" Moet natuurlijk Fallback zijn.

Kijk eens naar Office365 dan..

Wij bieden ook mailservices aan naar onze klanten.. Maar om net in geval van grote pannes nog bereikbaar te zijn voor onze klanten staan onze mailboxen daar..buiten onze infra

Buiten dat heeft het ook nog meer voordelen zoals de 5xoffice licentie etc..

Voor de prijs moet je het allessinds niet laten ...


Sent from my iPhone using webhostingtalk

Heb geen advies mbr je vraag, maar wel iets anders. Zet komende week / weken extra regel in je email (bv als handtekening regel) dat kullie een email storing hadden en dat mails gedurende storing periode mogelijk niet ontvangen zijn.

Ja je zal enkele dubbele krijgen, maar dat is beter dan helemaal geen

Sent from my Nexus 5 using webhostingtalk mobile app

Het kan in principe heel eenvoudig door een VPS extern te installeren op basis van postfix en de mailqueue timeout aan te passen. Deze opties zijn "bounce_queue_lifetime" en maximal_queue_lifetime , dit kun je op (bijv.) 5 dagen zetten. Als de mailserver dan onbereikbaar is blijft email hier tot maximaal 5 dagen staan.

Kwestie van Postfix er op, domeinen invoeren (text based file) en MX record toevoegen.

Oorspronkelijk geplaatst door CharlieRoot

Het kan in principe heel eenvoudig door een VPS extern te installeren op basis van postfix en de mailqueue timeout aan te passen. Deze opties zijn "bounce_queue_lifetime" en maximal_queue_lifetime , dit kun je op (bijv.) 5 dagen zetten. Als de mailserver dan onbereikbaar is blijft email hier tot maximaal 5 dagen staan.

Kwestie van Postfix er op, domeinen invoeren (text based file) en MX record toevoegen.

Dan lijkt het mij toch makkelijker (en goedkoper) om een fallback account ergens te nemen. Dat heb je al vanaf een euro of 2 per maand (en buiten Nederland betaal je zelfs maar 1 Euro) en hoef je ook alleen maar een MX record toe te voegen met de juiste pref.
Dan hoef je tenminste zelf geen VPS te huren en ook niet zelf de mailserver te installeren/beheren.

Ben overigens benieuwd wat de oorzaak van de storing is (geweest). Hier begint alles sinds een uur weer wat te stabiliseren en ook de mails lijken weer binnen te komen. Laatste twitterupdate is alweer 8 uur oud.

Om hoeveel gebruikers gaat het?

Je kunt prima mailaccounts huren waar fallback geregeld is. Een beetje dienstverlener heeft de fallback server helemaal buiten zijn netwerk staan.
Want een garantie kun je altijd krijgen: Het gaat stuk.

Je kunt ook een losse fallback dienst huren.

Inmiddels de volgende reactie van Ermis wat er precies is misgegaan in de nacht van vrijdag naar zaterdag:

Verklaring storing afgelopen weekend
2 november 2015/in Storingen /door Ermis Hosting

De storing
In de nacht van vrijdag op zaterdag vond er een update plaats van Directadmin. Omdat dit regelmatig voorkomt en wij hierbij nooit downtime ervaren, hebben we geen normale onderhoudsmail uitgestuurd. Tevens hebben we een nieuw backupscript in gebruik genomen. Ook het vervangen van de back up heeft normaliter geen effect op onze klanten en wordt daarom niet aangekondigd als onderhoud. Helaas heeft dit laatste in dit geval toch voor problemen gezorgd. Tien minuten na het starten van de back up was geen enkele server meer benaderbaar, de services startten niet meer en er was geen enkele site meer beschikbaar. Wij hebben op dat moment eerst vastgesteld wat er aan de hand was en een inschatting gemaakt van de impact en schade.

Wat was er aan de hand
De bestands- en gebruikersrechten van alle bestanden, services en de serversoftware zelf waren verdwenen. Deze bestands- en gebruikersrechten zijn cruciaal en zonder deze rechten stopt alles.

De oorzaak
Een nieuwe wijze voor het maken van backups verliep niet correct. Hierdoor liep alles fout.

Het herstel
Op 4 servers na was alles binnen 23 uur weer beschikbaar. Een aantal servers gaf hierna sporadisch problemen met de mail door een weigerende virus- en malwarescanner, ook dit is verholpen. De overige 4 servers (één SSL en drie resellerservers) hadden nog extra tijd nodig door opeenstapeling van storingen. Deze servers wilden niet meer starten. Het terugplaatsen van een oude back up is geen optie. Alle bestanden zijn vervolgens van de oude kapotte servers gehaald en hersteld op 4 nieuwe servers die wij met spoed hebben ingericht.

De toekomst
Wij hebben maatregelen genomen om in de toekomst bij meerdere defecte servers ook in het weekend sneller nieuwe servers uit te rollen (het zijn dan nog steeds onze eigen servers). Verder zien wij af van de nieuwe wijze voor het maken van backups en zijn we teruggestapt naar de vorige versie.

Vanuit Ermis | Domeinruimte
Nog niet eerder in de bestaansgeschiedenis van Ermis | Domeinruimte hebben wij te maken gehad met een storing met een dergelijke impact op onze klanten. Een schok voor onze klanten en ook voor onszelf. Wij begrijpen de frustratie en de zorgen van onze klanten en nemen deze zeer serieus. Indien er nog mensen zijn die problemen ervaren met hun sites en e-mail verzoeken wij deze om alsnog contact met ons op te nemen zodat wij de klachten zo snel mogelijk kunnen verhelpen. Op dit moment zijn wij ook zelf weer volledig bereikbaar.


Communicatie
Als echte techneuten hebben wij ons in eerste instantie gericht op het verhelpen van de storing. Omdat onze eigen website en mail ook niet werkten was onze mogelijkheid tot communicatie over de storing beperkt. Vanaf zaterdag hebben wij via de social media updates uitgestuurd omdat wij zagen dat hier veel behoefte aan was. Via deze weg willen wij ook iedereen bedanken die zijn of haar begrip en steun heeft uitgesproken tijdens de storing. Wij begrijpen dat een dergelijke storing schade toe kan brengen in het vertrouwen in onze dienstverlening. Wij zullen zoals altijd er alles aan doen om alle zorgen bij onze klanten weg te nemen.

Dimitri Tzoumas & Petros Mylonopoulos.
Bron: https://www.domeinruimte.nl/storinge...lopen-weekend/

We hebben inmiddels enkele bedrijven die een fallback service los aanbieden een mail gestuurd met enkele vragen.
Hierop hebben we van hen enkele reacties mogen ontvangen, wat wij ook graag willen stellen in dit forum.
Ook willen we jullie reacties beantwoorden.

Dit doen we morgen... Het is vandaag een drukke dag geweest.

Wat een wazig verhaal. Ik denk dat de DirectAdmin update niets te maken heeft met hun probleem, de vraag is welk nieuw backup script zij bedoelen. De gewijzigde versie van FTP_upload in de laatste DA update of een eigen versie waarin een fout bleek te zitten.

Servers gaan niet kapot door een software update van DA. Dat ga je me niet wijsmaken. En DA wijzigt ook geen rechten van systeemsoftware.
Zelfs het ftp_upload.sh script van DA doet slechts 1 chmod op een configfile.

Maar deze oude rot heeft nog wel een tip. Zet je ergens een vpsje van drie keer niks en TEST je updates voor je iets uitrolt wat je niet direct kunt herstellen

Wel goed dat ze aangeven dat hun script de oorzaak is (en niet de update van DA). Dat klinkt niet als een doofpot affaire.

Ik heb echt een paar vragen over deze oorzaak melding:
- Wat doe je als je backup je rechten kan vernachelen? Wat doet je back-up uberhaubt met rechten?
- Draait de backup op die servers? En heeft iemand met toegang tot die server dan toegang tot de back-ups? En kan die ze dan ook weggooien?
- Je zou verwachten dat gaandeweg de avond servers weer up komen?
- Testen?

Die fallback server.. is die er echt niet? Dus geen fallback server buiten je netwerk of zelfs binnen je netwerk?
In dat geval, kijk ook gelijk naar je DNS. Geen DNS, geen mail. Dus zorg dat je er daar ook minstens 1 van buiten je netwerk hebt staan.

Toch wel een raar verhaal...

rsync verkeerd om draaien ?
Alle files van de backup server naar de hosting server syncen.

Oorspronkelijk geplaatst door dennis0162

rsync verkeerd om draaien ?
Alle files van de backup server naar de hosting server syncen.

Dat kan natuurlijk
In beide gevallen eindig je met een server van gisteren en wordt je de volgende dag gebeld en denk je