Onderwerp: Clusteren, Cloud of...? Help

Wij zijn een webdesign bureau en voor onze bestaande klanten bieden we zo incidenteel hosting aan. Omdat we gaandeweg steeds uitgebreidere wensen hebben gekregen, is het type hosting ook met ons meegegroeid. Van eenvoudige VPS omgevingen naar dedicated servers. Intussen zien we door de bomen het bos niet meer, hosten we bij vijf verschillende bedrijven in zes verschillende datacenters.

Naast eenvoudige Shared Server omgevingen, draaien er ook een aantal websites op een VPS (Plesk). Verder draaien er diverse websites in de Cloud, maar de kwaliteit van deze omgeving laat zwaar te wensen over. Simpelweg geen performance en de provider doet er geen *** aan. Last but not least hebben we een 6-tal krachtige Dedicated Servers (gemiddeld 4CPU, 8Gb geheugen min. en voldoende diskruimte) die we ook nog inzetten. Meestal draait daar maar één of twee sites per server op. De servers zijn krachtig, maar bij een beetje load blijven ze toch fors achter t.o.v. concurrerende clusters zoals bijv. door Byte aangeboden wordt.

We willen eigenlijk het e.e.a. samenvoegen, de Shared Server omgevingen en VPS omgevingen afstoten en alles op de Dedicated Servers onderbrengen. Hiervoor moet eigenlijk een Cluster opgezet worden (lijkt me), maar welke software daarvoor gebruiken?

In de Dedicated Server omgevingen + VPS'en gebruiken we Plesk, maar ik weet niet zozeer of Virtuozzo een Cluster-software is of gewoon een management tool. Cpanel heb ik al geprobeerd, maar dat beviel niet. Interworx? Andere oplossingen?

Wil je een zuiver cluster opbouwen of losse nodes met bvb een loadbalancer setup of wil je de dedicated servers opslitsen in vps cluster en gebruik maken van HA etc. Denk dat je eerst die vragen moet beantwoorden voor je verder moet kijken naar de control panels.

In een tijd waarin veel dedicated servers juist omgezet worden naar virtuele servers vanwege de vele voordelen, wil jij net het tegenovergestelde gaan doen?
Een vps omgeving is overigens niet 'eenvoudiger' dan dedicated servers (vanuit een hostingstandpunt gekeken dan).
Je zit bij 5 hostingbedrijven en je bent een webdesignburo die alleen hosting voor zijn eigen klanten regelt.

Elke haar op mijn kop zegt nu... 'geen wonder dat dit niet voor je werkt'...

Het feit dat elke jan doedel hosting kán aanbieden betekent namelijk geenzins dat ie het ook GOED kan/wil aanbieden.
Er zal vast een reden zijn waarom je bij 5 partijen zit, maar als de eerste partij je had gegeven wat je nodig had, binnen je budget, dan had je nu waarschijnlijk niet bij 5 partijen gezeten en had je niet 5 personen te maken gehad die allemaal hun graantje linksom of rechtsom willen meepikken.

Wat je moet doen is met één hoster in zee gaan die er wél iets aan doet. Als webdesignburo moet je je dan verder eigenlijk ook niet al teveel bemoeien met de manier waarop de hoster dat doet, zolang ie maar levert wat je wilt. Een cluster betekent namelijk niet direct dat je opeens meer performance hebt of dat de sites van je klanten sneller draaien... je hebt wel een ingewikkelder systeem dat meer kost en in bepaalde gevallen je idd. meer power levert, maar dat is geen wet van meden en perzen.

Oorspronkelijk geplaatst door systemdeveloper

In een tijd waarin veel dedicated servers juist omgezet worden naar virtuele servers vanwege de vele voordelen, wil jij net het tegenovergestelde gaan doen?

Nee, eigenlijk niet. Idealiter had ik een oplossing zoals die van Appfog willen aanbieden, maar dat heeft helaas weer andere nadelen. De situatie zoals die nu is ontstaan, is eigenlijk per toeval ontstaan. De VPS'en waar we een beroep op deden waren zonder uitzondering gewoon te langzaam.

Oorspronkelijk geplaatst door systemdeveloper

Wat je moet doen is met één hoster in zee gaan die er wél iets aan doet. Als webdesignburo moet je je dan verder eigenlijk ook niet al teveel bemoeien met de manier waarop de hoster dat doet, zolang ie maar levert wat je wilt. Een cluster betekent namelijk niet direct dat je opeens meer performance hebt of dat de sites van je klanten sneller draaien... je hebt wel een ingewikkelder systeem dat meer kost en in bepaalde gevallen je idd. meer power levert, maar dat is geen wet van meden en perzen.

Helemaal mee eens. Om die reden hebben we er ook voor gekozen om de hosting van de nieuwe sites allemaal al bij één partij onder te brengen. Maar goed, die biedt weer uitsluitend 'kale hosting' aan. Mogelijk nog Plesk of Cpanel erop en klaar. Dat lost natuurlijk het acute probleem (trage VPS, trage cloud) wel op, maar op de lange termijn is het geen efficiente oplossing.

Dan lijkt het mij dat je niet de juiste partij hebt gekozen.
We kunnen ook geen antwoord geven op je vragen aangezien daar te weinig informatie voor wordt geboden.

Oorspronkelijk geplaatst door gjtje

Dan lijkt het mij dat je niet de juiste partij hebt gekozen.
We kunnen ook geen antwoord geven op je vragen aangezien daar te weinig informatie voor wordt geboden.

Ook daar valt over te discussieren. We hebben zeker de juiste partij gekozen, gezien de snelheid, kwaliteit en stabiliteit. Toen was het een quick fix en gelukkig een blijvende oplossing. Hoeveelheid supporttickets op hosting ging aanmerkelijk omlaag. Welke informatie zou je willen hebben trouwens?

Oorspronkelijk geplaatst door Fred12

Nee, eigenlijk niet. Idealiter had ik een oplossing zoals die van Appfog willen aanbieden, maar dat heeft helaas weer andere nadelen. De situatie zoals die nu is ontstaan, is eigenlijk per toeval ontstaan. De VPS'en waar we een beroep op deden waren zonder uitzondering gewoon te langzaam.

Helemaal mee eens. Om die reden hebben we er ook voor gekozen om de hosting van de nieuwe sites allemaal al bij één partij onder te brengen. Maar goed, die biedt weer uitsluitend 'kale hosting' aan. Mogelijk nog Plesk of Cpanel erop en klaar. Dat lost natuurlijk het acute probleem (trage VPS, trage cloud) wel op, maar op de lange termijn is het geen efficiente oplossing.

Dan heb je misschien niet de juiste partij gekozen (vooropgenomen dat kale hosting ook echt 'kaal' a.k.a. dozen schuiven is). Voor een succesvolle site/platform met zo min mogelijk problemen is alleen hosting niet genoeg. Je programmeur kan bijvoorbeeld met 1 foute regel/oplossing een supercomputer op zijn knietjes brengen tenslotte. En als je hoster je dan zegt dat je een extra supercomputer nodig hebt omdat de load te hoog wordt, is ie niet eens fout (gezien vanuit de kale hosting)... maar het is niet de oplossing, als je begrijpt wat ik bedoel.

Ik zeg niet dat je hoster ook je programmeur moet zijn, maar hij moet wel je problemen snel kunnen detecteren en je kunnen adviseren betreffende een oplossing ervoor. En heel vaak komt hier toch wat meer kennis bij kijken dan alleen 'hosting'. Om dat van twee kanten goed te laten lopen, vergt dat vaak ook een investering van je hoster en dus een lange termijn relatie. Anders loop je het risico dat je straks veel meer hardware afneemt dan je nodig hebt of dat je voor elke probleemanalyse een rekening krijgt (puur omdat je hoster die kennis die hij niet in huis heeft zal moeten inhuren).
In hoeverre dat relevant is voor je, kun je zelf alleen bepalen uiteraard.

Maar om op je vraag terug te komen... als je alleen hosting regelt voor klanten waar je zelf de websites designed, dan is de kans groot dat je klanten niet vaak in je controlpanel aan het prutsen zijn, hooguit om eens een mailadres aan te maken. Dan kun je net zo goed een paar DirectAdmin licenties pakken die een stuk goedkoper zijn dan cpanel/plesk.

Edit: dat je supporttickets omlaag gaan als gevolg van stabielere hosting is wel fijn, maar eigenlijk ging ik al vanuit dat hosting stabiel is. De meeste serieuze hosters hier voorkomen namelijk al dat er überhaupt supporttickets aangemaakt moeten worden. Die hebben het probleem meestal al eerder gemerkt dan de klant zelf.

Als ik je begin post goed lees, heb je op dit moment van alles wat:

- Shared hosting
- VPS
- Cloud
- Dedicated (6x)

Op dat moment is het idd goed om wat te combineren. Dit scheel zowel geld als beheerlast.

Bij mij rijst dan ook direct de vraag, wat voor cluster wil je. Wat is het uiteindelijke doel, wil je een systeem wat rock solid is? Of is een klein beetje down time niet de grootste ramp van de wereld?

Als ik jou was zou ik op de dedicated servers virtualisatie zetten. Je kunt dan denken aan KVM / VMware of zelf een private cloud zoals openstack. Je kunt elke site dan een aparte VPS geven, maar het is ook mogelijk om meerdere website's op 1 VPS te zetten en dan meerdere kopieen van deze VPS-en maken. In combinatie met een loadbalancer en HA voor de loadbalancer heb je een omgeving welke erg stabiel is. Mogelijk is een publieke cloud (zoals rackspace) wel iets voor jullie. Qua performance zou dit goed moeten presteren en kun hier alle kanten mee op.

Het voordeel om virtualisatie op de dedicated server te zetten en dat als er 1 server fysiek gaat, je de VPS-en op een andere server kunt zetten. Bij een HA oplossing heb je ook nog het voordeel van als er iets in de software niet goed zit, je over kunt switchen naar een anderen VPS.

Ik raad je aan om op zoek te gaan naar een partij die van dit alles kaas heeft gekeken. Die met je mee kan denken en hiervoor niet voor elk uur een factuur stuurt. Verder zou ik met hun een beheer contract afspreken voor de servers (zowel de dedicated als de VPS-en) zodat je bij problemen direct kan terug vallen op de juiste personen.

Wat voor website's bouw je trouwens, dit maakt best wel uit qua beheer van de servers. Het beheer voor Linux server met PHP en MySQL is anders dan het beheer voor ASP en Microsoft SQL.

Ik ben benieuwd waar je uit komt. Hou ons maar op de hoogte.

Altijd moeilijk om hier een passende oplossing te presenteren, veel beter is het om met een dergelijke klant rond de tafel te gaan zitten en de zaken te bespreken en wat vraag en aanbod kan betekenen voor beide partijen.

Daarbij komt ook nog eens dat een groot deel van de aanbieders blijkt te zweren bij hun "cloud" oplossing, echter blijf ik er persoonlijk nog steeds voorstander van om gebruik te maken van dedicated servers al of niet loadbalanced/cluster (HA) ipv cloudoplossingen die nog steeds NIET zaligmakend zijn.

Wij hadden precies hetzelfde. Heb webdesign bureau en we bieden hosting aan eigen klanten aan. Vooral zodat de server precies ingesteld kunnen worden voor het CMS wat we gebruiken. Ik had ook een ritje accounts en servers die inmiddels allemaal op 2 servers staan (5 vpsen per server), voor 2e DNS huur ik bij een andere partij een kleine vps + backupserver (nfs + BackupPC) en JungleDisk met externe storage als extra backup.

Wij maken gebruik van ProxMox VE 2 voor de servers/vps hosts. De 2 servers zijn geclusterd zodat een vps eenvoudig van de ene naar de andere node te verhuizen is (kan allemaal via 1 control panel).
Zijn wel allebei servers met 8 Cores, 24GB geheugen en Raid 10 (hardware RAID). Draai je echter 4 vpsjes per server dan kom je met de 4 Cores die je nu hebt ook wel uit. Geheugen is vooral de bottle neck, dus misschien dat je die 8GB kan vervangen voor 16GB (of meer).
Wij draaien nu 5 vpsen per node, als 1 van de nodes dus kapot zou gaan dan kunnen die vpsen er nog wel bij op de andere node. Die zijn eenvoudig weer op te starten door vzdump backup van backupserver uit te pakken en op te starten.

We hebben zo een opstelling die voor ons (hosting niet de core business) goed te beheren is.

Oorspronkelijk geplaatst door Jorem

Wij draaien nu 5 vpsen per node, als 1 van de nodes dus kapot zou gaan dan kunnen die vpsen er nog wel bij op de andere node. Die zijn eenvoudig weer op te starten door vzdump backup van backupserver uit te pakken en op te starten.

Heb je al eens een node kapot gehad? Zoals ik het lees kun je bij een kapotte node nu dus je backups van je remote backupserver gaan terugtrekken en uitpakken en dus heb je dan een 'relatief' oude versie van je vps?
Het idee achter HA, cluster, cloud of whatever je het wilt noemen is om dit soort dingen juist te voorkomen. Bij uitval van een server zou je eigenlijk hooguit performance verlies moeten hebben.

@systemdeveloper: Heb je helemaal gelijk in, backup kan in het ergste geval een uur oud zijn ja (JungleDisk incr. backup draait ieder uur).

Oorspronkelijk geplaatst door Jorem

@systemdeveloper: Heb je helemaal gelijk in, backup kan in het ergste geval een uur oud zijn ja (JungleDisk incr. backup draait ieder uur).

Een uur valt dan nog reuze mee. Ik heb dingen gezien waarbij alleen al het overtrekken van de remote backup een halve tot hele dag duurt als je een paar 100G backup hebt. Incrementeel gaat dan wel snel, maar daar heb je niks aan als je kist dood is en je geen shared storage gebruikt.

Oorspronkelijk geplaatst door systemdeveloper

Een uur valt dan nog reuze mee. Ik heb dingen gezien waarbij alleen al het overtrekken van de remote backup een halve tot hele dag duurt als je een paar 100G backup hebt. Incrementeel gaat dan wel snel, maar daar heb je niks aan als je kist dood is en je geen shared storage gebruikt.

Mijn scenario is nu als volgt (hopen dat het ook zo gaat natuurlijk). Als er een node uitklapt ga ik naar de backupserver. Daar heb ik al per vps een scripts inzitten waarmee ik met klik de laatste snapshot van de vps direct naar de andere node kan uploaden (ftp over lan). De snapshot zijn gecomprimeert en max 5GB (meeste rond de 3GB) en doordat ze zo klein zijn gaat het wel snel, bij honderden GB's wordt het wat anders ja, dan gaat dit niet echt werken nee. Op de node untar ik de bestanden, voer een qemu restore uit en dan kan ik de vps opstarten (apache, mysql en postfix start ik dan nog niet op). Ik kan dan vanuit JungleDisk de laatste incrementele backup terugdraaien. Als die klaar is start ik apache, mysql en postfix weer op.
Deze manier heb ik ook gebruikt om de vpsen van Proxmox 1 naar Proxmox 2 over te zetten. Clusteren van Proxmox 1 en 2 gaat namelijk niet.

Er zullen altijd betere maniere zijn, maar tot nu toe werkt dit wel goed.

Oorspronkelijk geplaatst door Jorem

Mijn scenario is nu als volgt (hopen dat het ook zo gaat natuurlijk). Als er een node uitklapt ga ik naar de backupserver. Daar heb ik al per vps een scripts inzitten waarmee ik met klik de laatste snapshot van de vps direct naar de andere node kan uploaden (ftp over lan). De snapshot zijn gecomprimeert en max 5GB (meeste rond de 3GB) en doordat ze zo klein zijn gaat het wel snel, bij honderden GB's wordt het wat anders ja, dan gaat dit niet echt werken nee. Op de node untar ik de bestanden, voer een qemu restore uit en dan kan ik de vps opstarten (apache, mysql en postfix start ik dan nog niet op). Ik kan dan vanuit JungleDisk de laatste incrementele backup terugdraaien. Als die klaar is start ik apache, mysql en postfix weer op.
Deze manier heb ik ook gebruikt om de vpsen van Proxmox 1 naar Proxmox 2 over te zetten. Clusteren van Proxmox 1 en 2 gaat namelijk niet.

Er zullen altijd betere maniere zijn, maar tot nu toe werkt dit wel goed.

Ah, ok, over lan is het goed te doen, maar ik begreep uit je post dat je de backup bij een andere partij had zitten. Uiteraard kun je daar ook een lan verbinding mee hebben, maar gangbaar is dat niet en in de praktijk mag je dan blij zijn als je dan een paar MB/s haalt.