Bekijk Volledige Versie : Rack server vs blade server
Beste webhosters,
Op dit moment draai ik zo'n 8 dedicated servers om mijn website online te houden, maar binnen nu en 2 maanden zal dit weer uitgebreid moeten worden. Verder ben ik ook bezig met een nieuw project wat naar verwachting in februari ook online zal gaan en dus ook servers voor nodig zijn.
Nu zit ik te kijken om zelf een full rack of 1/2 rack te huren en eigen servers op te hangen. Nu sta ik ook meteen voor een keuze, kies ik voor diverse rack servers of een blade behuizing. Blade servers zijn iets duurder in aanschaf, maar daarnaast werken ze wel efficienter, ze hebben minder ruimte nodig (zo krijgt supermicro 20 servers in een 7u case), verder zijn blade servers ook makkelijker uit te breiden (dus als je 15 blades hebt hangen kun je makkelijker 1tje erbij hangen zonder al te veel moeite).
Wat adviseert de ervaren hoster hierbij?
Alvast bedankt,
Robin!
Wat doe je precies met die website? 8 dedicated servers voor één website is flink wat.
Wij hebben wat bladeservers van SuperMicro (oude chassis met 10 blades) draaien en dat draait prima, het scheelt veel bekabeling in je racks, ideaal. Nadeel blijft wel dat je alle storage remote moet doen en dan schieten de netwerk oplossingen vaak te kort, zo heb je vaak maar 2x 1Gbit per blade.
Mijn advies is als je blades wil gebruiken je eerst moeten kijken in welk(e) datacenter(s) je deze wil onderbrengen, vaak is het zo dat de meeste oudere datacenters maar tot 10A effectief per feed kunnen geven of 16A per feed. Dit zou er dus op neer komen dat je meestal maar 1 blade per rack kunt hangen omdat die blades meestal wel 10A (of hoger) trekken. Dus als je echt een full rack met blades wil hangen heb je toch zeker minimaal 2x 64A aan feeds nodig (of 8x 16A feeds, 4x 32A) of neem je 4x full rack met 2x 16A om het zelfde als high desity racks te bekomen (wat goedkoper en makkelijker is moet je zelf dan maar uitmaken).
Vergeet verder ook niet dat wanneer je single servers gebruikt bvb 20 servers en er 2 kapot gaan je er nog 18 in je cluster hebt, dat is ook zo voor de blades. Maar wanneer om de een of andere reden je backplane (nic module, ...) van je bladeframe kapot gaat allemaal je blades offline zijn. Nu niet dat dit veel zal voorkomen, maar het zijn natuurlijk zaken waar je rekening mee moet houden bij je beslissingen.
@The-Boss Hartelijk bedankt voor je reactie, ikzelf zat te denken om bij RackServe colocation af te nemen, hun zitten in diverse datacenters en ga ik ervan uit dat hun wel een rack hebben waar dit in kan (16 A). Een rack zal ik maar 1 blade enclosure inhangen met 1 losse 1u server om storingen op te vangen (mocht het backplane ophouden) en de data los te stallen op een storage server. Kosten zullen in eerste instantie gelijk zijn aan losse servers ophangen (bij de hoeveelheid waar ik nu op gerekend heb) met als voordeel iedere volgende server is voordelig.
Of is hier ook meer dan 16A nodig voor het volledige rack?
@Wido, het gaat hier vooral over traffic, en verder is database gescheiden en ook een losse mailserver. De stijging wordt verwacht omdat we nu ook gaan uitbreiden naar de USA, duitsland en frankrijk. Naast dit zal er ook nog een gespecialiseerde mailing dienst komen (vergelijkbaar met mailchimp) en volgens de planning zal medio half 2013 zo'n 500 000 - 1 000 000 mails per dag verstuurd worden.
Of is hier ook meer dan 16A nodig voor het volledige rack?
Dat is een berekening die je zelf zal moeten maken aan de hand van de gekozen hardware, hou hier wel rekening mee dat je de maximale belasting (watt verbruik) neemt zodat je pieken kunt opvangen. Ik heb wel nog eens blades gezien die 21A trekken bij normaal gebruik maar 25A wanneer ze gestart worden, je hebt zelf blades die bvb 4x 3000watt voedingen hebben en dan kom je zeker niet meer toe met je 2x16A feed (6000watt / 230v = +- 26A). En al helemaal niet als je 4 van die gevulde chassis in 1 rack wil plaatsen ;)
Hartelijk bedankt voor je reactie. Kwa hardware moet ik nog exact uitzoeken wat ik neem, dit is pas van latere zorg als ik de juiste keuze heb gemaakt. Verder zal er maar 1 gevuld chasis per rek komen (bijvoorbeeld de 7u van supermicro welke ik hierboven aanhaalde met 20 servers, deze heeft 2x 2500 watt), en daarnaast nog een storage server en een enkele 1u server mocht de blade om wat voor reden dan ook uitvallen.
Hier zal ik tijdens de zoektocht dan ook rekening mee houden.
'k Draai zelf een 15tal Supermicro SBE-720D chassis' met twinblades (effectief dus 20 servers).
Deze trekt ongeveer 5A per 2 voedingen (10A totaal dus). Dit chassis kan je vrij effectief indelen, bijvoorbeeld 9 twinblades en 1 normale blade voor een stukje storage.
Kosten mag ik niet noemen (NDA) maar het is vergelijkbaar of iets goedkoper dan Dell R410's (voor mij..)
Qua failures valt het me heel erg mee. Nadeel van de twinnodes is dat het nogal hatelijk is al 1 node stuk gaat, dan moet de hele blade vervangen worden (2 nodes dus).
Qua switching heb ik op dit moment nog geen problemen ondervonden. 1Gbps per server (ik gebruik bonding voor redundantie) is tot nu toe voldoende, ook voor databases.
Ook met betrekking tot beheer is een chassis een verademing. Een CMM (zoals 't heet bij Supermicro) geeft me de mogelijkheid om die units te beheren, te rebooten, KVM, bla bla. Alles wat je wilt basically.
Ik moet zeggen: voor mij geen rackservers meer...
Even wat spam: http://www.byte.nl/blog/2011/11/16/byte-stapt-over-op-supermicro/
Ik heb idd al naar prijzen gekeken (bij oa a-head), en ook ik kwam voordeliger uit dan met gewone servers. Verder heeft je "spam" me aardig wat interessant leeswerk opgeleverd, ook sta ik ontzettend te kijken over de performance welke deze dingen opleveren, ik weet namelijk via kennisen welke bij jullie hosten dat het om een super stabiel netwerkt gaat.
Maar waarom heb je niet gekozen om een chassis vol te zetten met 10 twinblades en daarnaast een losse storage server te plaatsen? En verder neem ik aan dat je gewoon 1 chassis per rack hebt hangen en daarnaast nog wat switches?
Ik heb idd al naar prijzen gekeken (bij oa a-head), en ook ik kwam voordeliger uit dan met gewone servers. Verder heeft je "spam" me aardig wat interessant leeswerk opgeleverd, ook sta ik ontzettend te kijken over de performance welke deze dingen opleveren, ik weet namelijk via kennisen welke bij jullie hosten dat het om een super stabiel netwerkt gaat.
Maar waarom heb je niet gekozen om een chassis vol te zetten met 10 twinblades en daarnaast een losse storage server te plaatsen? En verder neem ik aan dat je gewoon 1 chassis per rack hebt hangen en daarnaast nog wat switches?
Ik heb chassis vol met 10 twinblades en m'n storage los ja ;) 't Was meer om aan te geven dat je niet vast zit aan 1 soort setup!
Met de huidige setup kan ik 2 chassis in 1 rack kwijt en hangen daar geen losse switches of iets dergelijks bij (dat kan niet qua stroom ;)). Storage en de nodige randapparatuur daarvoor hangen in losse kasten. Qua densitity is een chassis-setup voor mij dus ook interessanter, want normaliter kan ik maar 20 1U servers kwijt in 'n rack (stroom...) nu 40 stuks. Profit :)
Wij hebben 2 bladechassis van SuperMicro. Om te werken is het een verademing tov losse servers, die CMM modules zijn daarvoor geniaal (1 beheer interface per blade chassis). Tot nu toe hebben wij met de beperking van 2x 1gbit per blade nog geen problemen ondervonden, hoewel 4x luxe was geweest die ook lang niet in alle 1U server te realiseren is. De storage hebben wij los van de blades geregeld.
Afhankelijk van je eisen kan het overigens wel handig zijn om losse switches te gebruiken en niet die switches die je in de blade chassis kunt steken. Deze geven in bepaalde situaties een slechtere performance en minder mogelijkheden dan bepaalde gbit switches is onze ervaring. Onze ervaring is overigens dat een goed (HA) storage systeem gauw meer stroom verbruikt dan de blades die hier gebruik van kunnen maken.
Gezien je aangeeft dat je een site hebt waar op je veel bezoekers verwacht kun je nog een stap verder gaan en zoeken naar een partij die als het nodig is ook snel hardware kan leveren (verhuren/verkopen/lenen). Ik durf niet te zeggen of Rackserve dat kan (aangezien ik geen ervaring met dit bedrijf heb).
Ik denk toch dat het heel erg afhankelijk van de website is wat aan te raden is. Wij hebben ook ooit deze overweging moeten maken en hebben toen gekozen van losse servers. Nu maken we gebruik van zo'n 200 servers voor 1 website.
Wij hebben gekozen voor losse servers omdat we veel opslag nodig hadden en een raid garantie voldoende is. En daarvoor was dus een centrale storage gewoon te duur en te complex, ingewikkeld voor de hoge doorvoer snelheden.
Maar wanneer het voornamelijk om rekenkracht gaat kan ik me een bladeserver wel weer voorstellen.
Beide weer hartelijk bedankt voor jullie inbregen.
@golden, het gaat hier inderdaad vooral om een website me heel veel bezoekers en veel database handelingen. Maar er zullen ook enkele webshops op te draaien komen. Vandaar dat mij lijkt dat het hier vooral gaat voor berekeningen (data is minimaal).
Ramon Fincken
11/10/12, 13:13
Beide weer hartelijk bedankt voor jullie inbregen.
@golden, het gaat hier inderdaad vooral om een website me heel veel bezoekers en veel database handelingen. Maar er zullen ook enkele webshops op te draaien komen. Vandaar dat mij lijkt dat het hier vooral gaat voor berekeningen (data is minimaal).
Vraag: voordat je in hardware gaat investeren .. het script zelf is nagelopen op high load queries, msyql heeft een mooie cache, en ook evt een cache server voor plaatjes? Hoe is de HW-SW setup nu precies?
Ook wellicht eens kijken nar oplossingn zoals Varnish. Kan je ook gigantische veel performance winst mee behalen. Ook wel benieuwd hoeveel gb's je per maand verstookt en een richting van het aantal bezoekers. Want ook dit soort informatie kan je naar 1 van de 2 keuzes trekken.
Ramon Fincken
11/10/12, 13:28
Klopt, maar uitkijken met winkelmandjes en andere niet statische zaken. Ik ben zeer benieuwd naar de huidige setup, en al zeker naar het aantal bezoekers en load ..
Klopt, maar uitkijken met winkelmandjes en andere niet statische zaken. Ik ben zeer benieuwd naar de huidige setup, en al zeker naar het aantal bezoekers en load ..
Dan ben jij niet de enige ;).
Het gaat wekelijks om zo'n 10 -15 miljoen pageviews wereldwijd. Het script zelf heeft geen last van hoge load, dit is zelfs al enkele malen geoptimaliseerd door experts. Maar omdat de piekpunten steeds vaker voorkomen en groter worden wordt het allemaal niet meer zo door de huidige servers getrokken. De servers hebben allemaal 2 quad core cpu's (verschillende AMD, andere Intel) en 8 of 16gb geheugen. Met normale 7200 schrijven en een database server met twee SSD's. De exacte load weet ik zo niet, maar je merkt dat de websites op verschillende tijden langzaam worden. Op die momenten worden er natuurlijk geen back-ups gemaakt.
Ramon Fincken
11/10/12, 13:44
Over de schijven: Gebruik je RAID? Wat voor? Ook nergens 15K schijven?
Webserver: loadbalanced met apache erachter? Nergens ngnix of varnish ervoor?
Nergens 15K schijven, enkel voor de databases welke draaien op de SSD's. Verder staat alles in RAID-1
Ramon Fincken
11/10/12, 13:52
nergens ruimte voor bv RAID 10 ? ( 4 schijven, geen hotspare )
SSD's is leuk, maar haalt het niet tegenover RAM voor caching
10 tot 15 miljoen pageviews valt natuurlijk erg mee. Uitgaand van 12 500 000 per week zit je op zo'n 20 pageviews per seconde. Dat is vrij weinig als je het mij vraagt.
Dan word het interessanter om te kijken naar hoeveel traffic je verbruikt. Kan je hier iets over zeggen? Want als het simpele paginas zijn dan kan 7200 schijfjes prima. Maar wanneer het gaat om files of iets dan wordt het al minder.
(Met 8 servers gaat het om gemiddeld 2.5 view per seconde per server)
Daarnaast ben ik ook benieuwd of er veel schrijf acties in de database zijn of leesacties? %schrijf%/%lees% ?
@Ramon, dan moet ik dan overleggen met mijn huidige hoster, op dit moment gaat het enkel om dedicated servers die ik heb draaien.
@Golden, traffic valt mee, maar het gaat vooral over database acties, bij iedere load wordt er uit 3 databases gelezen, en bij handelingen in 2/3/4 databases geschreven. Verder worden er dagelijks ook meer dan 750 000 emails gestuurd, dit gebeurt op een losse server.
En verder omdat er een nieuw product van ons zit aan te komen waar ook ons netwerk voor moet worden uitgebreid willen we dit meteen meenemen als we eigen servers gaan plaatsen.
@Ramon, dan moet ik dan overleggen met mijn huidige hoster, op dit moment gaat het enkel om dedicated servers die ik heb draaien.
@Golden, traffic valt mee, maar het gaat vooral over database acties, bij iedere load wordt er uit 3 databases gelezen, en bij handelingen in 2/3/4 databases geschreven. Verder worden er dagelijks ook meer dan 750 000 emails gestuurd, dit gebeurt op een losse server.
En verder omdat er een nieuw product van ons zit aan te komen waar ook ons netwerk voor moet worden uitgebreid willen we dit meteen meenemen als we eigen servers gaan plaatsen.
Dan praat je idd al over andere gevallen. Wel zou ik idd gaan kijken naar cachen in geheugen. En anders gaan kijken naar bedrijven die erin gespecialiseerd zijn. Wij hebben nu een site met zo'n 60 miljoen pageviews per week. In het begin ook altijd uitbesteedt terwijl we zelf een hoster zijn.
Sinds korte periode hosten we het pas zelf.
Wel vraag ik me af waarom hij leest en schrijft naar 3 servers. Kan je hier iets meer over vertellen? Ik vraag me af of hier geen betere constructie voor te bedenken is.
Probeer een nieuwe structuur neer te zetten waarmee je gemakkelijk kan schalen. En bij voorkeur al je sites op 1 platform, dus dat wanneer je een "node" bijplaatst de resources van zowel je oude als nieuwe site wordt opgescaled. Dit is het best onderhoudbaar en ook zullen waarschijnlijk de pieken op andere tijdstippen liggen waardoor je ook flink kan besparen op hardware.
Ik heb enkele jaren ervaring met HP en Dell. Waar de rackservers van HP goed zijn, vind ik de bladeservers een ramp. Slechte beheersmogelijkheden, brakke software en onkundige support. De laatste 5 jaar werk ik ook met Dell bladeservers binnen een M1000e chassis. De ervaringen hiermee zijn goed. Voldoende netwerk-interfaces op de servers, totaal 2x 1GE onboard en ruimte voor 2 extra mezzanine kaarten voor FC, GE of 10GE. Wanneer je kiest voor Dells eigen switches in blades, houd je de bekabeling ook nog eens goed. Enkel 2x 10GE naar buiten toe voor je traffic en 2x 1GE voor het beheer.
Wanneer je specifieke vragen hebt hoor ik het graag van je.
Daarnaast hoe zijn de servers onderling met elkaar verbonden? Of te wel gaan alle queries via dezelfde UTP als dat de bezoekers komen? 100Mbit? 1000Mbit?
Uit ervaring weet ik dat wanneer bezoekers via een lijn binnenkomen op diverse servers en die querien erop los op de database servers via datzelfde lijntje dat dat ook een vertraging op kan gaan leveren.
Was er destijds verbaasd over maar het verschil was enorm duidelijk. Wel moet ik zeggen dat bij ons de traffic ook enorm was.
Probleem zit hem denk ik in de connectietijd.
Dit hier zou ik eens na moeten vragen bij mijn hoster, ik weet niet als hun hier rekening mee gehouden hebben.
Dit hier zou ik eens na moeten vragen bij mijn hoster, ik weet niet als hun hier rekening mee gehouden hebben.
Zou wel een punt kunnen zijn. Misschien overeen gelezen. Maar zou je heel kort kunnen uitleggen wat de huidige opzet is? Hoeveel servers staat de website op. Hoe zijn de database servers opgedeeld? Staan de bestanden op de servers zelf of op een centrale opslag (dus de site zelf).
Het gaat om een groter netwerk van websites, we hebben iniedergeval 8 servers als volgt ingedeeld:
1 database server met 2 SSD's
1 Mail server
5 webservers
1 ftp/file server
Het gaat om een groter netwerk van websites, we hebben iniedergeval 8 servers als volgt ingedeeld:
1 database server met 2 SSD's
1 Mail server
5 webservers
1 ftp/file server
Dan heb ik al meteen het gevoel dat er tussen de fileserver en de webservers een bottleneck kan zitten.
Ten eerste 1 Fileserver met 7200rpm disks en 5 webservers kan al een goeie bottleneck zien gezien de bezoekers. Dus inderdaad met een fileserver met SAS 15K verwacht ik dat je al een boel performance winst kan behalen.
Daarnaast ben ik benieuwd hoe ze met elkaar zijn verbonden met elkaar en welk protocol jullie gebruiken voor de filesharing. Wij raden altijd af om de fileservers via een andere switch te verbinden met de webservers of gewoon iets van fiber of iets anders te gebruiken.
Een klein voorbeeld voor wanneer hij dezelfde switch gebruikt:
- Bezoekers trekken 500 Mbit traffic p/s ( even ruim gerekend aangezien dit vroeger een bottleneck bij ons was).
- 500Mbit vanaf webserver naar buiten over de switch. De webserver haalt zijn data bij de fileserver (ook circa 500Mbit).
- Daarnaast maakt de webserver ook nog een connectie naar database server (20Mbit)
Dus op bovenstaande optie moet het wanneer het om een enkele switch, connectie punt gaat alles 2 x afhandelen. Daarnaast hoeft een 2e aansluiting dit niet direct op te lossen aangezien je de gebruik ook nog moet zien te verdelen. Dus ik raad persoonlijk altijd aan het koppelen van servers totaal te scheiden van het verbruik van de bezoekers. En het liefst iets als fiber of een andere mogelijkheid.
Ik weet helaas niet hoe alles is aangesloten, dit moet ik gaan navragen bij de hoster, maar voor zover ik weet hangt wel alles in verschillende racks, grote kans dus op ook verschillende switches.
Maar even terug naar de hoofdvraag, waarschijnlijk zijn voor mij niet zoveel servers nodig maar schort er vanalles aan de huidige configuratie (dus met het aanschaffen van 8 eigen servers welke juist zijn aangesloten moet alles al een stuk beter lopen)?
Ik weet helaas niet hoe alles is aangesloten, dit moet ik gaan navragen bij de hoster, maar voor zover ik weet hangt wel alles in verschillende racks, grote kans dus op ook verschillende switches.
Maar even terug naar de hoofdvraag, waarschijnlijk zijn voor mij niet zoveel servers nodig maar schort er vanalles aan de huidige configuratie (dus met het aanschaffen van 8 eigen servers welke juist zijn aangesloten moet alles al een stuk beter lopen)?
Een nog groter probleem wanneer het in veschillende racks hangt. Dus waarschijnlijk ook allemaal extra hardware ertussen wat de performance gigantische omlaag haalt.
Als jij het met 1 fileserver redt ben ik ervan overtuigd dat je 5 webservers naar een 2tal of 3tal teruggeschroeft kan worden wanneer alles goed geconfigureert en gekoppeld is. Onze site heeft een kleine 200 servers waarvan er maar 4 gebruikt worden voor het serveren van de website.
Rest allemaal servers voor de files en converteren.
Dus het antwoord op de vraag. Ik weet vrijwel zeker met de informatie die je hebt gegegeven dat je met 8 servers met juiste configuratie en netwerk een goed snel systeem kan neerzetten.
Daarnaast zou IK beslist kiezen voor losse servers. Reden hiervan is dat je geen spof meer hebt. Maar voornamelijk het upgraden. Ik vind het fijn dat wanneer de hardware ouder begint te worden je in loop der tijd gewoon servers kan vervangen en upgraden. Wanneer je een blade hebt en je wilt naar een nieuwe techniek of hardware gaan upgraden ben je verplicht in 1 x je complete blade te vervangen of een 2e nieuwe blade te gaan draaien.
Wij hebben onze servers in loop der tijd gekocht. Dus de vernieuwingskosten worden ook verdeeld. Dus elke maand worden een paar servers vervangen of toegevoegd.
Bedankt voor je advies. Ik neem aan dat een keuze voor supermicro op prijs/kwaliteit gewoonweg het beste is? Of twisten hier de meningen over?
Bedankt voor je advies. Ik neem aan dat een keuze voor supermicro op prijs/kwaliteit gewoonweg het beste is? Of twisten hier de meningen over?
Hierin kan ik je moeilijk informeren aangezien ik geen ervaring met supermicro heb. Wij gebruiken eigenlijk altijd de HP DL360 of DL380 welke ook erg goed betaalbaar zijn, maar volgens mij wel wat voordelen bieden zoals standaard ILO enzo.
Maar nogmaals geen ervaring met supermicro.
Wij maken nu bijna 3 jaar gebruik van blade servers, voor onze toepassingen (virtualisatie en dedicated oplossingen) werkt het perfect. Simpel beheer, makkelijk firmware upgraden, bij problemen is het ook erg simpel om even een blade eruit te halen en bekijken wat er aan de hand is.
Het is uiteindelijk sterk afhankelijk voor welke doeleinden je het gaat gebruiken zoals golden heel erg goed heeft aangegeven. Bij ons word per klant bekeken wat mogelijk is, wanneer virtualisatie of blade server mogelijk is, dan word er voor deze mogelijkheid gekozen.
Mijn persoonlijke mening, ik stap niet meer af van blade servers... een verademing is het.
Ik zie hem hier nog niet genoemd (Mikey op vakantie, Laurens afgesloten van het Intwewebs?) maar je zou ook eens naar Intel blades kunnen kijken. 6 blade-servers en shared storage in een. Daar kun je ideaal de web-servers mee bedienen. In een ander chassis zet je vervolgens de overige servers neer. Dan heb je meteen een shared-storage oplossing voor je web-farm. Dell EqualLogic levert vanaf eind dit jaar trouwens ook een dergelijke oplossing. Ik zie dat Hans van Storagemanagement.nl al een oplossing online heeft staan: http://storagemanagement.nl/dell-equalogic_35.html
Heb je al een idee wat het gaat worden?
Iedereen nogmaals bedankt voor alle reacties. Ik ben op dit moment nog in overleg met verschillende partijen (oa enkele partijen die voor mij 2 racks willen leveren en supermicro leveranciers) en kijk ik ook wat hun mij adviseren.
Ramon Fincken
15/10/12, 15:50
Keep us posted. Zolang er niet vergeten wordt dat je met een andere configuratie, normale optimization steps (denk aan varnish, images op subdomein etc..) , en wellicht een paar HW wijzigingen je er waarschijnlijk ook al bent.