PDA

Bekijk Volledige Versie : Het samenstellen en uitbesteden van een compleet nieuwe hosting setting



Sylvester
16/07/12, 11:07
De huidige situatie:
Op dit moment hebben wij een hosting platform gebaseerd op XenCenter, hierop hebben we ruim 1000 websites draaien. We verdelen websites over verschillende VPS die wij zelf beheren ± 8 op dit moment. Op een VPS staat CentOS met Directadmin. Zelf hebben wij enige kennis in huis om de servers te beheren, verder worden we aangevuld door de beheerders van de servers (in het datacentrum).

Nieuwe situatie
Wij willen een compleet nieuwe setting voor een stukje risicospreiding en nieuwe inzichten. We willen klein beginnen (niet virtueel) en de mogelijkheid om wel makkelijk op te schalen.

Punten die wij waarderen:

Het liefst een eigen datacentrum
Het liefst 5 ~ 10 medewerkers (anders wordt het te kolossaal en onpersoonlijk)
Minimaal 5 jaar ervaring
Directadmin moet gebruikt worden
Batched SMTP moet zelf door ons kunnen worden ingesteld
We willen zelf de rechten hebben om onderdelen of servers te rebooten wanneer er een storing is
24 uur bereikbaarheid is een must (voor storingen)


Kortom
Wij zoeken een partij die een gepaste oplossing kan leveren, graag zouden wij de mening van andere willen horen. Heeft er iemand ideeën / suggesties voor ons om eens te gaan praten/bekijken?

t.bloo
16/07/12, 11:21
Het beheren van een datacentrum is een hele andere dienst dan het beheren van servers. Veel mensen denken dat dat een goede combinatie is, maar eigenlijk is het een hele andere tak van sport. Zie het als dat het bijvoorbeeld ook niet logisch is om de buschauffeur het asfalt te laten beheren...

Als je risicospreiding wil doen, kun je daarom beter een heel goed datacenter uitzoeken en een heel goed beheerbureau en niet een matige oplossing die toevallig allebei tegelijk doet.

systemdeveloper
16/07/12, 11:31
Acht vpssen is toch niet extreem groot? Waarom zou je dan naar een niet virtuele oplossing willen?
Een klein eigen vpsplatform zodat je je vpssen kunt verdelen, is misschien een oplossing.
Eventueel kun je ook een fallback omgeving opzetten in een ander dc met vpssen (met minder power) die alleen bij een storing wat meer juice krijgen.

Het gaat zich natuurlijk erom wélke risico's je wilt spreiden en welke nieuwe inzichten je zoekt. Op basis van je gegevens kun je veel kanten op.

Sylvester
16/07/12, 11:44
@t.bloo: Hier heb je wel een goed punt, misschien dat we daar even anders naar moeten gaan kijken. Ik denk inderdaad dat het voldoende moet zijn als de beheerder meldt bij welk datacentrum hij de servers onder brengt.

@systemdeveloper: Wij willen niet dat onze data fysiek opgeslagen is op schijven die ook door andere gebruikers gebruikt wordt.

systemdeveloper
16/07/12, 12:31
[QUOTE=Sylvester;1237125
@systemdeveloper: Wij willen niet dat onze data fysiek opgeslagen is op schijven die ook door andere gebruikers gebruikt wordt.[/QUOTE]

Kan ik begrijpen, wij hebben ook een aantal klanten die hun 'eigen' prive storage hebben, al is dat meestal omdat ze een aparte configuratie hebben (ssd-only, of juist de goedkopere sata-only).
Wil je helemaal niet 'delen' dan kom je al snel uit op servers met hun eigen luns/local storage (niet altijd de handigste oplossing) of een eigen storage (meestal de duurdere oplossingen).
Als je zegt dat je klein wilt beginnen en niet wilt sharen, is de kans op een goede oplossing wel iets kleiner of op zijn minst ingewikkelder/relatief duurder.

Als je het risico wilt spreiden door toekomstige vpssen ergens anders onder te brengen, dan zou ik toch gebruik maken van de (vaak betere, maar shared) vpsplatformen van een andere hoster en eventueel afspreken dat het naar een prive platform wordt omgezet op het moment dat je er een bepaalde hoeveelheid hebt ondergebracht zodat je langzaam naar je dedicated platform groeit.

Jorem
16/07/12, 12:42
Wij willen niet dat onze data fysiek opgeslagen is op schijven die ook door andere gebruikers gebruikt wordt.

Daarom heeft systemdeveloper het ook over een eigen vpsplatform. Dus je draait alle vpsjes op je eigen hardware/servers, die niet door anderen gebruikt worden :).

* Neem aan dat je niet voor iedere gebruiker een aparte HDD wil installeren.

Edit: Was alweer te laat zie ik.....

Sylvester
16/07/12, 13:17
Oké, dit is informatie waar we wat mee kunnen. Graag hoor ik natuurlijk nog meer ideeën / meningen.

Weten jullie misschien ook partijen die ons hiermee kunnen helpen? Dus een partij die de servers kan leveren/installeren/configureren/beheren? Het liefst een flexibele partij die goed wil meedenken/adviseren met de nodige ervaring.

systemdeveloper
16/07/12, 13:27
Oké, dit is informatie waar we wat mee kunnen. Graag hoor ik natuurlijk nog meer ideeën / meningen.

Weten jullie misschien ook partijen die ons hiermee kunnen helpen? Dus een partij die de servers kan leveren/installeren/configureren/beheren? Het liefst een flexibele partij die goed wil meedenken/adviseren met de nodige ervaring.

Uhm... dat mogen we hier niet aanbieden, maar zou je in het 'aanbiedingen gevraagd' onderdeel moeten vragen, maar meedenken doen we hier al allemaal :)

t.bloo
16/07/12, 14:27
Zo gek is je opstelling nog niet. Je zou eigen servers kunnen nemen, dan heb je eigen hardware en in geval van onverhoopte problemen met je beheerder kun je er altijd bij. In dat geval is het IP adressen omnummeren en je kunt weer verder.

Je huurt dan bijvoorbeeld een private (kwart) rack met daarin een stuk of 5 lekkere Dell servers. Op die servers zet je een VPS cluster (bijvoorbeeld met Proxmox of een van de vele andere opties). Je beheerder regelt dit in en verzorgd het beheer. Het beheer over de klanten binnen DirectAdmin kun je helemaal zelf doen. Met IPMI of de betere varianten kun je zelf de host servers eventueel op het laagste niveau besturen.

In een ander datacenter zet je nog een eigen colocatie server neer met VPS voor tweede DNS, een VPS voor email fallback, een VPS voor dagelijkse secundaire backups.

t.bloo
16/07/12, 14:33
Uiteraard bouw je dit langzaam op en zet je er in stappen klanten op over. De globale kosten kun je zelf uitrekenen. Kwart rack + stroom + traffic. Prijs van een goede server. Dag werk van jezelf en beheerder per server setup. Iedere maand een halve dag support per server van de beheerder. Iedere drie jaar hardware uitfaseren.

Jorem
16/07/12, 18:09
Je huurt dan bijvoorbeeld een private (kwart) rack met daarin een stuk of 5 lekkere Dell servers. Op die servers zet je een VPS cluster (bijvoorbeeld met Proxmox of een van de vele andere opties). Je beheerder regelt dit in en verzorgd het beheer. Het beheer over de klanten binnen DirectAdmin kun je helemaal zelf doen. Met IPMI of de betere varianten kun je zelf de host servers eventueel op het laagste niveau besturen.
In een ander datacenter zet je nog een eigen colocatie server neer met VPS voor tweede DNS, een VPS voor email fallback, een VPS voor dagelijkse secundaire backups.

Dit is bijna zoals ik het nu heb opgezet en bevalt super goed. Kwart rack, 3 ProxMox servers in cluster voor VPSen, daarnaast backupserver in zelfde rack. En huur (dus geen colocatie) bij externe partij een vps voor 2e DNS en mail fallback. Daarbij wordt er nog een backup gemaakt naar Amazon. IPMI op alle servers en kan dus server makkelijk van afstand overnemen.

Hou er bij ProxMox wel rekening mee dat verhuizen naar andere server niet kan met lokale opslag. Als de server crashed die je in hebt gesteld als master kan je ook nodes niet meer bedienen, die verwijzen weer naar de master. Als je alle VPSen hebt staan waar ze moeten staan wis ik dus de cluster instellingen weer zodat je alle servers los van elkaar kan bedienen via ProxMox admin panel.

Backups van alle servers gaan naar lokale backupserver. Die backupserver is met samba (nfs werkt niet lekker met ProxMox 2) verbonden met alle cluster servers. Mocht een server crashen dan kan je ze zo restoren vanaf een andere server (iedere vps heeft unieke ID die niet op andere server voorkomt). Werkt het snelste/makkelijkste bij problemen is mijn ervaring.

Blijft verder voortdurend proces van aanpassingen hoor. Bedenk steeds weer iets hoe het beter kan :).

Denk dat dit ook wel een geschikte/betaalbare opstelling voor jullie is met genoeg groeimogelijkheden.

systemdeveloper
16/07/12, 18:23
Jorum, dat is dus het grote nadeel van lokal storage. Niet zelden wordt een restore proces slechts door 1 core uitgevoerd en als je met een paar 100gb aan data zit, dan ben je a) de data sinds je laatste backup én b) de data die je had kunnen krijgen tijdens de restore kwijt.
Als zoiets je in de nacht gebeurd, is dat niet een ramp, maar als het je tijdens een marketing campagne van een klant gebeurd, wordt het toch diep door het stof kruipen.

1 (of liever 2 redundante) storages reduceren je down- en recovertijd van dagen/uren naar minuten/seconden. Is misschien iets duurder om aan te schaffen, maar een goede storage gaat ook wel lang mee. 5-6 jaar met soms wat diskjes vernieuwen is geen uitzondering. En de vermindering van stress op zo'n moment is vaak priceless :)

vDong
17/07/12, 10:53
1 (of liever 2 redundante) storages reduceren je down- en recovertijd van dagen/uren naar minuten/seconden.
Deze rare gedachtesprong zie ik wel vaker, waar 1 storage (dus niet redundant) met veel bombarie wordt aangekondigd als minder SPOF dan 1 lokale storage. Centrale storage neemt geen SPOF weg en bij het voorbeeld met midden in je marketing campagne ben ik wel benieuwd wat je doet als je centrale storage het ineens niet doet. Sterker nog, met 1 centrale storage is de impact van falen van deze SPOF niet te overzien.

Ook is je opmerking over 1 core erg vreemd, dat gaat er vanuit dat een backup altijd gedecompressed moet worden, anders zou je bottleneck wel IO zijn, niet iedereen gebruikt compressie op hun backupservers.

ju5t
17/07/12, 11:39
Ligt nogal aan je storage set up. Dus zo raar is die gedachtesprong niet. Een enkele storage oplossing betekent niet direct dat deze niet redundant uitgevoerd kan worden. Op welke SPOF doel je precies?

systemdeveloper
17/07/12, 12:14
Een enkele storagekast kan wel degelijk redundant opgezet worden natuurlijk.
Maar dat terzijde... Ik zei ook 'liever 2'.

Je moet ook naar de recoverytijd kijken. Als je alles met local storage doet dan ben je vaak beperkt in het aantal iops/ruimte dat je kunt gebruiken. Als 1-2 disks kapot gaan heb je vaak al een probleem, als de server zelf kapot gaat kun je 9-10 keer naar het dc hobbelen, hopen dat je een vrij identieke lege spare hebt en de disks ombouwen.Eventueel kun je remote gaan knutselen om je snapshots/backups ergens anders in te lezen.
Maar ook simpel onderhoud/updates/repairs aan je vpsnodes of tijdelijk omhoogschalen van een enkel vps leveren je veel minder downtijd als je gewoon even je vps live naar een andere node kunt moven.

Dit zijn dingen die vaak toch behoorlijk wat tijd kunnen kosten en daarvoor hoeft je hardware niet eens kapot te zijn.

Heb je daarentegen shared storage dan switch je gewoon naar een andere node en ga je lekker aan de slag met je updates en zooi.

Dat van die 1 core is helemaal niet zo vreemd als je eens met xenserver hebt gewerkt. Een import gebruikt gewoon 1 core. Een export is nu eenmaal een export van gebruikte blokken. Niks vreemd aan, dat is zoals het beestje werkt.

Sylvester
17/07/12, 12:25
Om even terug naar de basis van het topic te gaan kom ik uit op:

- Kies voor een partij die zich specialiseert in hosting oplossingen i.p.v. een datacenter die het erbij doet
- Als je klein wilt beginnen moet je toch denken aan shared en niks specifieks
- Als je niks met anderen te maken wilt hebben moet je wat meer investeren
- Eigen VPS platform op eigen/gehuurde servers zou een goede oplossing zijn, echter is een platform van de hoster zelf waarschijnlijk beter ontwikkeld
- Een losse VPS met weinig power voor de backups

vDong
17/07/12, 13:44
Een enkele storagekast kan wel degelijk redundant opgezet worden natuurlijk.

Hier ben ik heel benieuwd naar, als een enkel opgezette storage redundant kan zijn, denk dat je iets nieuws hebt gevonden.


Je moet ook naar de recoverytijd kijken. Als je alles met local storage doet dan ben je vaak beperkt in het aantal iops/ruimte dat je kunt gebruiken. Als 1-2 disks kapot gaan heb je vaak al een probleem, als de server zelf kapot gaat kun je 9-10 keer naar het dc hobbelen, hopen dat je een vrij identieke lege spare hebt en de disks ombouwen.Eventueel kun je remote gaan knutselen om je snapshots/backups ergens anders in te lezen.
Dit is nou precies wat er steeds herhaalt wordt dat niet klopt, waarom kan je bij een VPS node met lokale storage wel compleet falen krijgen, en is bij een VPSnode met externe storage altijd de node zelf defect en de storage niet?
Wat is precies de recoverytijd van alle nodes die de storage gebruiken als de storage zelf kapot gaat?
Heb je dan een vrij identieke lege spare? Is dat veel minder werk dan een server met lokale storage?

vDong
17/07/12, 13:46
Een enkele storage oplossing betekent niet direct dat deze niet redundant uitgevoerd kan worden. Op welke SPOF doel je precies?
Dat is best wel de definitie van single point of failure, dat je tenminste 1 punt heb dat niet redundant is en kan falen.

systemdeveloper
17/07/12, 14:11
Dat is best wel de definitie van single point of failure, dat je tenminste 1 punt heb dat niet redundant is en kan falen.

Bovenaan zei ik 1 of 2 redundante storages. 1 redundante storage bestaat over het algemeen al uit 2 fysieke kasten dus daar is al geen sprake van een spof, en met 2 redundante storages kun je eentje zelfs in een ander dc hangen.
Maar er zijn ook o.a. die twin kasten met 2 servers in 1 kast. Hier kun je gewoon eentje uitzetten als je dat wilt, zonder dat je systeem down hoeft te gaan en voor kleinere storages (waat je geen 20 sas disken nodig hebt) kunnen dat best aardige en relatief goedkope oplossingen zijn, zeker voor de kleinere vps platformen.

Maar stel je hebt maar 1 enkele non redundante storage die kapot gaat. Zelfs in dat geval kun je nog altijd besluiten om je (belangrijkste) backups ergens op andere bakken te restoren naar lokal storage.
Je doet dan wel een flinke stap terug bij een totale storage failure en het duurt even, maar je kunt het tenminste wel. En zlang je hardware niet totaal naar de mallemoer gaat, kun je daarentegen wel altijd op je gemak schalen, vpsjes moven en ijskoud alle ram en cores van een node toekennen zonder andere vpssen in de weg te zitten, onderhoud doen, nodes rebooten. Dit blijft minutenwerk in vergelijking met het moeten verplaatsen van een 100gb vps naar een totaal andere server.

En even de spof daargelaten, een dikke storage kun je mooi volproppen met een combi van sata, sas en ssd waardoor je erg flexibel bent en o.a. de mysql directories van je vpssen mounten op de ssd's van je storage. Ok, dat kun je in je losse server ook doen, maar dan heb je toch flinke servers nodig. Zodra je iets groter bent en 20 van die nodes hebt is dat gewoon geen manier van werken meer.
Maar... ieder het zijne. Als jij vindt dat local storage beter/prettiger voor je werkt, wie ben ik dan om daaraan te tornen ;)

Bart L
17/07/12, 14:12
Dell verkoopt nog steeds de Equallogics als kan niet "dood".. Want dubbele voeding, dubbele raid kaart.. Maar er bestaat ook nog zoiets als software, en dat kan wel dood ;)
Er is een moment dat ie niet meer wil, dus 2x Equallogics .. "Ja maar dat doet geen enkele klant van ons"... :)

ju5t
17/07/12, 14:12
Oh is dat een SPOF?

Ik bedoel natuurlijk welk onderdeel er volgens jou kan falen wat er voor zorgt dat het een SPOF wordt. Wat je nu zegt is dat een enkel cluster ook een SPOF is terwijl er genoeg redundantie in kan zitten maar puur omdat 'enkel' niet redundant is wordt het een SPOF.

vDong
17/07/12, 23:09
Oh is dat een SPOF?
Ik bedoel natuurlijk welk onderdeel er volgens jou kan falen wat er voor zorgt dat het een SPOF wordt. Wat je nu zegt is dat een enkel cluster ook een SPOF is terwijl er genoeg redundantie in kan zitten maar puur omdat 'enkel' niet redundant is wordt het een SPOF.
Mogelijkheden (zullen niet allemaal bij elke storage toepasselijk zijn)
- De firmware/OS
- CPU(s) van de storage

Punt is, als ik 1 punt kan aanwijzen waarbij geen redundancy is, is het een spof.

systemdeveloper
17/07/12, 23:56
Om even terug naar de basis van het topic te gaan kom ik uit op:

- Kies voor een partij die zich specialiseert in hosting oplossingen i.p.v. een datacenter die het erbij doet
- Als je klein wilt beginnen moet je toch denken aan shared en niks specifieks
- Als je niks met anderen te maken wilt hebben moet je wat meer investeren
- Eigen VPS platform op eigen/gehuurde servers zou een goede oplossing zijn, echter is een platform van de hoster zelf waarschijnlijk beter ontwikkeld
- Een losse VPS met weinig power voor de backups

Laat je niet gek maken over deze uit de hand gelopen discussie over spofs. Een spof is helemaal geen probleem zolang je hoster maar niet hoeft na te denken wat ie moet doen indien er een probleem is.
Foute keuzes zorgen voor de meeste downtijd, niet kapotte hardware.

Je punten hierboven kloppen aardig. Maar uiteindelijk moet je gewoon een hoster hebben die creatief genoeg is en echt meedenkt (en daar ook gewoon de tijd voor heeft). Praktische ervaring is hierbij ook erg belangrijk, anders heb je straks een systeem dat vrij onbetaalbaar is puur omdat je bv. 99,999 ipv 99,995 wilt.
De rest is puur wat je zelf wilt: heb je het budget voor een compleet cool eigen platform (denk aan 25k om in te stappen) en kun je leven met je ROI daarop -> go for it! Wil je het iets voorzichtiger aanpakken, dan share met anderen en groei langzaam naar een eigen platform naarmate je omgeving zelf ook groeit.
En hou je hoster te vriend; zonder elkaar verdienen jullie allebei niks.