Nieuwe webserver: hoeveel hard drives en hoe in te richten?

[Zippy1970]

Ik ben op dit moment bezig een nieuwe webserver in te richten, welke een bestaande webserver moet gaan vervangen. De oude webserver draait onder Debian, en de nieuwe zal dat ook gaan doen.

Op dit moment heeft de oude webserver 2x een 80GB HDD. Het enige waar de 2de HDD voor gebruikt wordt, is het wekelijks backuppen van de hoofd schijf. Dit doe ik met "dd" zodat ik dus in weze een carbon copy van de hoofd schijf heb.

De reden dat ik met dd backup, is zodat ik in geval van een terminale HD crash alleen maar in de BIOS de boot prioriteit van de schijven hoef om te wisselen om het systeem weer in de lucht te gooien.

De reden dat ik slechts één maal per week een backup doe, is omdat er soms wel eens een bestand corrupt raakt, en dit pas na een paar dagen duidelijk wordt. Omdat ik slechts ruimte heb voor één backup (omdat ik een carbon copy maak), is de kans groot dat het bestand op de backup óók corrupt is als ik dagelijks een backup zou doen. Op deze manier vergroot ik in ieder geval de kans dat ik een niet-corrupt bestand kan restoren. Bovendien is het restoren niets anders dan het mounten van de backup-schijf en dan een simpele copy doen.

Misschien allemaal wat omslachtig, maar het werkt en dat is het belangrijkste. Bovendien is één van de redenen dat ik dit post om te vragen of er wellicht een betere methode is.

Maar goed. Nu wil ik hetzelfde gaan doen met de nieuwe webserver. Wat ik absoluut wil, is een aparte schijf voor backup, en die moet continue een bootable copy bevatten van de hoofd-schij(f)(ven). Wat absoluut het allerbelangrijkste is voor de nieuwe webserver is uptime. Uptime is belangrijker dan snelheid.

Maar nu is uptime natuurlijk gekoppeld aan fout-tolerantie. De enige reden dat de webserver eventueel down zal zijn, is door corrupte bestanden, of door een HDD crash.

Dus ik heb de volgende opties (er zijn er uiteraard meer, en die hoor ik graag van jullie):

Geoptimaliseerd voor fout-tolerantie
2x 160GB HDD in RAID 1,
1x 160GB HDD als backup

Geoptimaliseerd voor snelheid
2x 160GB HDD in RAID 0,
1x 160GB HDD als backup

Geoptimaliseerd voor snelheid
2x 80GB HDD, load balanced
1x 160GB HDD als backup

De reden dat ik de laatste optie heb vermeld, is omdat volgens mijn eigen testen 2 load balanced HDDs (in mijn setup) sneller zijn dan een RAID 0 setup.

Dus... Iemand suggesties, tips, aanmerkingen, opmerkingen of andere aanbevelingen? Nogmaals, het enige dat ik absoluut wil hebben, is een backup schijf waarvan ik kan booten in het geval van een terminal crash van de hoofdschijf.

Tx!

[pierce]

Je kan ook de volgende config nog overwegen;

3x 160 GB in Raid 5
1x 160 GB voor backup
of
4x 160 GB in raid 0 + 1
Externe backup


Maar ik denk dat het belangrijk is om na te gaan of je die snelheid van raid 0 echt nodig hebt, anders zou raid 5 ook een mooie oplossing kunnen zijn.

Oh ja, neem iig wel een goede hardware raidcontroller en geen "software" raid, maar zover was je zelf volgens mij ook al

[hostlogic.nl]

Als je de primaire disk als RAID1 uitrust, dan heb je de backup disk niet meer nodig voor het opvangen van een fysieke disk storing. Je kunt de backup disk natuurlijk wel gebruiken voor het maken van periodieke file backups, om corrupte bestanden terug te kunnen zetten.

Als je toch vasthoudt aan je wekelijkse dd naar de backup disk, zou je de vrije ruimte op deze disk kunnen gebruiken voor dagelijkse incremental file backups. Je maakt bijvoorbeeld op je primaire disk een leeg filesysteem aan. Nadat je de wekelijkse dd gedraaid hebt, kun je de kopie van dit filesystem vanaf de backup disk mounten, en gebruiken om periodiek alle gewijzigde files naartoe te kopieren. Bij zowel een enkele corrupte file als een fysieke storing op je primaire disk heb je altijd vrij recente files op je backup disk beschikbaar.

Het bovenstaande neemt niet weg dat een off-site backup (of in ieder geval op een afzondelijke server) in alle gevallen de beste oplossing is.

[bami82]

Oh ja, neem iig wel een goede hardware raidcontroller en geen "software" raid, maar zover was je zelf volgens mij ook al

Hmm zonder een verdere discussie te beginnen want die zijn hier al genoeg over geweest. Hier zijn in elk geval de meningen over verdeeld.

[beetle]

Als je raid 1 draait, waarom dan een backup disk maken met dd? als in 1x beide schijven crashen kun je die toch niet zomaar in een raid array zetten, dus gewoon die schijf gebruiken om je /home en andere file naar toe te kopieren..

Wat ik wel doe is geregeld (als ik naar het data centrum moet) 1 van de 2 HDD in de raid array wisselen voor een reserve schijf en deze mee naar huis nemen.
gaan ze allerbij kapot, dan zet ik die reserve erin, en kopier ik de /home ect terug.

[Zippy1970]

Als je raid 1 draait, waarom dan een backup disk maken met dd? als in 1x beide schijven crashen kun je die toch niet zomaar in een raid array zetten, dus gewoon die schijf gebruiken om je /home en andere file naar toe te kopieren..

Het is ook niet de bedoeling om de backup de plaats in te laten nemen van de gecrashte schijf. Maar ik heb dan de keuze om te booten van de RAID of de backup. En het gaat natuurlijk ook om de backup zelf. Als bestanden corrupt raken (om wat voor reden dan ook), dan heb ik altijd een backup die hooguit 1 week oud is.

[t.bloo]

1 week oude bestanden kan een eeuwigheid zijn op een drukke server. Waarom niet dagelijkse snapshots backuppen naar een externe server? Dan heb je van iedere dag tot een week terug een kopie en ben je veel flexibeler. Met de juiste tools neemt dat helemaal niet veel meer ruimte in.

[Sander-]

in mijn ogen is je backupstrategie echt totaal verkeerd. Oke, je hebt een backup, maar wat nou als er een stroompiek of uitval komt in het dc en beide hdd's zijn kapot? dan heb je niks meer... Ik zou persoonlijk een nieuwe server pakken met 2 x ??gb in raid1 (voor meeste webservers is 80gb wel genoeg. En dan een offsite backup regelen naar bijv een VPS, kantoor of tape (bij coloboer bijv). Door te werken met incrementals/differentials kun je voorkomen dat dit je heel veel datatraffic kost (na de 1e keer) en daarnaast weet je ook zeker dat als je server er in zijn geheel mee op houdt, dat je ook kunt restoren.

Je hebt dan per dag een incremental die je erbij kunt pakken, dus per dag restoren ipv per week (en evt daarna prunen) en je hebt je RAID1 om stuk diskafhankelijkheid op te vangen.

[Zippy1970]

in mijn ogen is je backupstrategie echt totaal verkeerd.

Daar ben ik het absoluut met je mee eens en dat gaat ook echt veranderen. Overigens worden de echt belangrijke bestanden regelmatig offsite gebackupt.

De reden dat ik met dd een copy op de derde schijf wil hebben, is omdat ik in het geval van een fatale crash van de hoofdschijven meteen wil kunnen booten van de backup schijf.

[almar]

Geoptimaliseerd voor fout-tolerantie
2x 160GB HDD in RAID 1,
>>> 1x 160GB HDD als backup<<< elimineer dit en kies hiervoor externe (online)backups...

[Paul Z.]

Wat ik mis is de hoeveelheid controllers. Als je alles op een controller aansluit, en de controller faalt om wat voor reden dan ook, dan eindig je met allemaal onbruikbare disks. (Heb ik jammer genoeg zelf meegemaakt...)
Dus als je zeker wilt wezen, dan zou ik gaan voor de RAID1 of RAID 5 opstelling, met een externe (USB) disk. Hiermee heb je meteen de SPOF (de controller) opgelost.

[dirk939]

De reden dat ik met dd een copy op de derde schijf wil hebben, is omdat ik in het geval van een fatale crash van de hoofdschijven meteen wil kunnen booten van de backup schijf.

Mount je alle volumes read-only voor het uitvoeren van dd?

[Zippy1970]

Mount je alle volumes read-only voor het uitvoeren van dd?

Nee, is dat verstandig?

Maar goed, ik gebruik nu toch geen dd meer, ik heb de server als volgt ingericht:

2 x 160GB in RAID 1
1 x 160GB voor backups

Ik maak nu dagelijks een complete (differentiële) backup. De laatste 7 dagen worden bewaard. Ik wil ook nog gaan toevoegen dat-ie de snapshots van de laatste 7 maandagen bewaard.

[ict-serv]

Het belangrijkste is de betrouwbaarheid en daarna de snelheid.
Ik zou 2 schijven op RAID 1 draaien. Vervolgens zou ik de backup laten maken via externe server(s).

[Waupiman]

Heb het zo gouw nog niet gelezen maar zorg dat je hotswap bay's heb. Anders moet je server misschien alsnog offline. Ik vind dat je dan half gebruik maakt van de mogelijkheden van de raid set.

just my 2cents