PDA

Bekijk Volledige Versie : Stroom verbruik Blade server



FransVanNispen
13/04/08, 18:18
Heeft iemand ervaring met het stroom verbruik van de nieuwe bladeserver van SuperMicro?

Misschien een WHT'er die een chassis heeft draaien en daar wat metingen over kan/wil delen?

Omdat we een nieuwe platform gaan bouwen dat een aardige rekencapaciteit nodig heeft en een goede beschikbaar moet hebben, overwegen we Blades te gaan gebruiken ipv losse servers, maar de meerprijs per server moet dan natuurlijk wel de moeite zijn.

Uiteraard, als het chassis vol zit, heb je geen Gbit switch en KVM nodig voor deze 10 servers, wat ook een voordeel is, maar ik ben erg benieuwd naar de energie besparing in de praktijk omdat we natuurlijk buiten kosten besparing ook aan een beter milieu willen meehelpen.

Randy
13/04/08, 18:27
Frans,

Neem even contact op met Wido, die heeft de eerste al draaien.
Met het energievernbruik: De LV processors besparen toch al enkele Watts doordat ze een TDP hebben van 50 Watt/CPU, tegen ~85 Watt/CPU bij een normale Xeon processor. Dit scheelt je dus 70 Watt per server (0,3A). Bij een vol bladeframe is dit toch al 3 Ampere! Daarnaast heb je niet de overhead van 10 losse voedingen hetgeen ook weer scheelt.
Je zult alleen wel een datacentrum moeten zoeken dat je voldoende stroom per footprint kan leveren wil je er meer dan eentje per rack kwijt.

FransVanNispen
13/04/08, 18:32
De vraag is natuurlijk ook hoeveel een vol chassis trekt. Wellicht dat in sommige DC's je niet eens een vol chassis kunt plaatsen, dan heeft het niet veel nut.

Stewie
13/04/08, 18:49
Je kan overal een vol chassis plaatsen, maar ik ken er weinig die 2 of 3 per rack toestaan.

GlobalServe
13/04/08, 23:08
Je krijgt waarschijnlijk een probleem met hotspots als je er 3 in een rack plaatst.

FransVanNispen
13/04/08, 23:20
De rede om voor blades te kiezen is niet om de density. Als er maar 1 of 2 in kunnen is dat prima. De opzet is stroom te besparen en goede redundancy te hebben op de hardware, liefts met hot-spare blade.

Jesperw
13/04/08, 23:35
Frans, niet helemaal on topic maar heb je gekeken naar de netwerk poorten? De reden dat wij er niet voor gekozen hebben is dat je niet genoeg netwerk poorten kunt hebben voor WAN en redundant iSCSI. Laat staan als je er ook nog LAN poorten bij kunt hebben. :)

Het stroomverbruik zal een stuk lager zijn dan bij losse machines. Ik heb er alleen geen cijfers van. :( Dat zal Wido denk ik wel hebben.

Technotop
13/04/08, 23:52
[offtopic]
Ik vraag me eerder af hoe je een bladeserver goed kunt koelen zonder actieve koeling in de kast zelf. Hoor verschillende verhalen dat ze bladeservers in een "normaal" datacenter niet konden plaatsen omdat de blade na een aantal uur dusdanig warm werd dat deze uit viel.

Rittal en Minkels hebben daar mooie racks voor, die 3 actieve koelers hebben 2 racks.

DeziWeb
14/04/08, 10:36
Wat ik me afvraag, wat is het totale kosten plaatje waar aan gedacht moet worden bij de aankoop van een bladeserver? Zijn er nog extra kosten die gemaakt moeten worden?(bijv. eigen rack voor bladeserver een must?)

Wido
14/04/08, 11:36
Wij hebben een chassis draaien van SuperMicro met 10 blades.

Hier zit het volgende in (10x)

- 2x Intel(R) Xeon(R) CPU E5310 @ 1.60GHz
- 4x 2GB DDR2 (Kingston)

Dit doet bij elkaar rond de 8 Ampere, het schommelt tussen de 7.5 en 8.5A, afhankelijk van de CPU belasting.

In het chassis zitten verder 2 Gigabit switches en nog 1x een management module.

Maar pas op, er zit in de Gbit switch firmware een bug die de volledige switch doet crashen wanneer je mSTP gaat draaien onder belasting.

Wij draaien nu noodgedwongen zonder STP, maar zijn met SuperMicro bezig om op ons tweede chassis (nog niet in gebruik) de crashes te re-produceren om zo tot een firmware fix te komen.

@ DeziWeb, een blade-chassis van SuperMicro kost niet al te veel vergeleken met losse servers. Het scheelt vooral héél veel kabels in je rack en ook je beheer is ideaal. Je kan ISO's als virtuele CD-Rom speler simuleren voor een blade.

Jesperw
14/04/08, 12:35
Dat kan ik ook in al mijn losse supermicro servers, dus da's niet echt een groot voordeel. :P Iso's mounten dus. ;)

Stroomverbruik, de looks en de netheid van zo'n bak vind ik wel heel erg mooi. Ik kan ze dus alleen bij gebrek aan voldoende netwerk poorten niet gebruiken. :(

DeziWeb
14/04/08, 13:12
@Wido, zou je svp is een keer wat foto's van de blade willen schieten en op jullie foto pagina willen plaatsen?

luser
14/04/08, 13:12
Ik was aan het kijken naar dit platform:
http://www.intel.com/products/server/modularserver/index.htm?iid=server_rhc+modular_image

Ziet er heel goed uit, zeker het gedeelde storage idee. Iemand ervaring mee?

Randy
14/04/08, 13:38
@Wido, zou je svp is een keer wat foto's van de blade willen schieten en op jullie foto pagina willen plaatsen?

http://crew.pcextreme.nl/~wido/img/superblade/

johan.smits
14/04/08, 14:11
Ik ben ook op zoek naar iets dergelijks maar heb advies nodig.
Wat we nu hebben is het volgende:
2x fileserver NFS
4x applicatie server
2x loadbalancer
We willen dit gaan overzetten naar een blade server maar heb wat vragen hierover.
We werken met XEN en wil een redundante opstelling met minder losse componenten.
Zijn er mensen die hierin gespecialiseerd zijn en mij op weg kan helpen of eventueel offerte maken?

frankske
14/04/08, 14:29
@luser: ben er eentje aan't testen as we speak :)

johan.smits
14/04/08, 14:34
@luser: ben er eentje aan't testen as we speak :)


Ben er benieuwd wat je bevindingen zijn en wat uiteindelijk ook de kosten ervan zijn.

Graag meer info hierover.

Ahead-IT
14/04/08, 15:23
Ik ben ook op zoek naar iets dergelijks maar heb advies nodig.
Wat we nu hebben is het volgende:
2x fileserver NFS
4x applicatie server
2x loadbalancer
We willen dit gaan overzetten naar een blade server maar heb wat vragen hierover.
We werken met XEN en wil een redundante opstelling met minder losse componenten.
Zijn er mensen die hierin gespecialiseerd zijn en mij op weg kan helpen of eventueel offerte maken?
Wij hebben dergelijke setups al intern getest, en dit werkt prima. het enige waar je dient op te letten is dat de verschillende blades een verbinding hebben met elkaar die snel genoeg is. Per bladeserver zit je namelijk gelimiteerd met 2 x Gbit LAN.

De prijs valt best mee, we hebben onlangs een (éénmalige) promotie gedaan voor een volledige setup voor 4000 euro. Dit was inclusief een chassis met drie complete blades. De lage prijs was te danken aan een stunt actie samen met Supermicro. Voor dezelfde configuratie nu, moet je rekenen op 6000 euro; maar bijkomende blades kosten niet zo veel meer. Voor deze prijs heb je wel al veel basis functies inclusief: redundante voeding, netwerk, KVM-over-ip management, efficienter stroombeheer, ...

Op aanvraag kunnen we een blade uitleveren als test indien iemand dit wenst, hij staat momenteel nog een weekje in Gent bij een klant; maar daarna is hij terug vrij. Uiteraard volledig kosteloos.

Wie interesse heeft belt gerust eens naar mij. (Philippe)

johan.smits
14/04/08, 15:29
Aan wat voor specs moet ik denken voor de 6000?
Is er een mogleijkheid dat alle machines op een Fileserver draaien NAS/SAN of iets dergelijks.
Ik zoek een simpele ongeving waar mijn data centraal staat.

Ahead-IT
14/04/08, 15:31
Aan wat voor specs moet ik denken voor de 6000?
Is er een mogleijkheid dat alle machines op een Fileserver draaien NAS/SAN of iets dergelijks.
Ik zoek een simpele ongeving waar mijn data centraal staat.
Staat nog online: http://www.ahead-it.be/bladepromo.pdf

Is er een mogleijkheid dat alle machines op een Fileserver draaien NAS/SAN of iets dergelijks.
-> ja, de blades ondersteunen iSCSI & PXE boot. Dit laat je wel best aan ons weten, want we moeten er een speciale firmware opzetten.

Jesperw
14/04/08, 16:08
Maar, zonder vervelend te worden wil ik dan toch nog even terug komen op mijn feit dat je dus geen redundante iSCSI koppelijk hebt. Iets wat je toch wel wilt als je redundant storage hebt. Zeker als je gebruik maakt van iSCSI.

Da's echt een misser wat mij betreft. Ik hoop dat daar nog een oplossing voor komt, dan zou ik er gelijk 1 willen.

Ahead-IT
14/04/08, 16:13
Maar, zonder vervelend te worden wil ik dan toch nog even terug komen op mijn feit dat je dus geen redundante iSCSI koppelijk hebt. Iets wat je toch wel wilt als je redundant storage hebt. Zeker als je gebruik maakt van iSCSI.

Da's echt een misser wat mij betreft. Ik hoop dat daar nog een oplossing voor komt, dan zou ik er gelijk 1 willen.
Dit is wel voorzien, er zijn twee netwerk adapters en beide kunnen iSCSI verbinding maken. Via deze netwerkadapters is naast het iSCSI verkeer, "normaal" verkeer ook mogelijk.

De backplane, voeding zijn standaard redundant
Switch/pass trough, KVM Management kunnen redundant uitgevoerd worden (standaard 1x, dus optioneel)

Jesperw
14/04/08, 16:34
Je mag iSCSI verkeer alleen niet mixen met "normaal" verkeer dus dat is geen goed idee. Als je dat wel doet kun je rare problemen krijgen en gaan storage boeren je niet willen helpen. :p

Ahead-IT
14/04/08, 16:39
Je mag iSCSI verkeer alleen niet mixen met "normaal" verkeer dus dat is geen goed idee. Als je dat wel doet kun je rare problemen krijgen en gaan storage boeren je niet willen helpen. :p
Je hebt gelijk, aangeraden is het niet. We hebben dit enkele weken terug ook eens praktisch getest. Wanneer we de iSCSI rechtstreeks verbinden aan de storage zonder "standaard" verkeer, was de iSCSI verbinding een stuk sneller.

Maar, het is mogelijk. De iSCSI connectie wordt aangemaakt bij het opstarten van de blade; het gebeurd dus niet via OS software.

Wido
14/04/08, 19:53
Je hebt gelijk, aangeraden is het niet. We hebben dit enkele weken terug ook eens praktisch getest. Wanneer we de iSCSI rechtstreeks verbinden aan de storage zonder "standaard" verkeer, was de iSCSI verbinding een stuk sneller.

Maar, het is mogelijk. De iSCSI connectie wordt aangemaakt bij het opstarten van de blade; het gebeurd dus niet via OS software.Vraag me af hoe dat werkt? Ik heb dat nergens in de manual gevonden!? :)

Ahead-IT
14/04/08, 22:07
Vraag me af hoe dat werkt? Ik heb dat nergens in de manual gevonden!? :)
Je blade komt niet van bij ons, anders hadden we dat wel vermeldt bij aankoop. Het staat inderdaad niet in de manual. ;)

Anyway, je hebt een speciale firmware nodig om te flashen op de onboard Intel NICs. Dan krijg je bij het opstarten van de blade een extra menu-tje.

Jesperw
14/04/08, 22:22
Die flash voor die intel nics maakt een iSCSI boot mogelijk, maar dan heb je in je OS evengoed iSCSI ondersteuning nodig. Het doet slechts de stap van bios naar bootloader, meer niet.

Je ziet 'm niet als harde schijf in je OS. Wat je bij een 'echte' iSCSI kaart wel ziet.

Wido
14/04/08, 23:53
Ik zie het inderdaad, alleen je bootloader wordt er vanaf gestart, maar in je initrd moet je dan al iSCSI support inbakken.

Dit zelfde heb ik al bereikt met een PXE omgeving die een initrd met iSCSI support toestuurt.

Moet toegeven, de intel setup is net wat mooier, maar het is geen native iSCSI support :)

johan.smits
15/04/08, 09:05
Staat nog online: http://www.ahead-it.be/bladepromo.pdf

Is er een mogleijkheid dat alle machines op een Fileserver draaien NAS/SAN of iets dergelijks.
-> ja, de blades ondersteunen iSCSI & PXE boot. Dit laat je wel best aan ons weten, want we moeten er een speciale firmware opzetten.


Ik heb de aanbieding gelezen. Echter heb nog een aantal vragen.
Is het mogelijk om binnen XEN ook windows machines te draaien?
Ik heb nu 2 file server's met elk 4x 300Gbyte Raid5 harddisk. Heb deze nu draaien met NFS op debian.
Om een redundantere omgeving te creeren voor iscsi kan ik beter gebruik maken van www.open-e.com?
Deze kan 2 files server's redundant online houden waar mijn VPS systemen op draaien?
Tevens heb nog een andere vraag: Al mijn server's hosten een grote web applicatie, om gebruik te maken van een gezamelijke file share is het dan nog steeds het beste om een NFS server te gebruiken of kan ik binnen XEN een gezamelijke icsci of een VPS draaien die NFS host?

Ik heb een aantal van deze vragen en ben op zoek naar iemand of een bedrijf die mij hierop antwoord kan geven en eventueel de setup kan leveren.

Johan

Merlijn
15/04/08, 10:27
Wij hebben een chassis draaien van SuperMicro met 10 blades.

Hier zit het volgende in (10x)

- 2x Intel(R) Xeon(R) CPU E5310 @ 1.60GHz
- 4x 2GB DDR2 (Kingston)

Dit doet bij elkaar rond de 8 Ampere, het schommelt tussen de 7.5 en 8.5A, afhankelijk van de CPU belasting.


Dat vind ik nogal veel. Een Dell M1000e chassis met 15x M600 Dual Quad Core 2.0Ghz+8GB RAM+2x73 HDD doet namelijk ook ongeveer 9A-10A. Dat scheelt nogal.

Wido
15/04/08, 11:00
Dat vind ik nogal veel. Een Dell M1000e chassis met 15x M600 Dual Quad Core 2.0Ghz+8GB RAM+2x73 HDD doet namelijk ook ongeveer 9A-10A. Dat scheelt nogal.Ik moet zeggen, ik had zelf ook minder verwacht, maar dit is wat de powerbars zo bij elkaar aangeven.

Ryan Kalkhoven
15/04/08, 20:10
Je kan overal een vol chassis plaatsen, maar ik ken er weinig die 2 of 3 per rack toestaan.

Naast dat wij de beschikking hebben om er meerdere per rack te plaatsen vraag ik me af of je dit uberhaupt zou willen. Een stukje risico spreiding lijkt me geen slecht idee. Als je er bijv. voor kiest om al je rekenkracht in één kast te stoppen en al de storage in een aparte kast dan creëer je in mijn ogen direct of indirect (ivm met redundante power etc) toch een SPF.
Mocht namelijk de primaire powerfeet overbelast raken dan is er een grote kans dat bij het terugvallen op de B-feet deze tevens onderuit gaat.

Spreiding kan naar mijn idee nooit kwaad. Zeker op het moment dat je alles of een groot gedeelte van je rekenkracht en/of storage gaat samenvoegen in een blade oplossing of een SAN.

FransVanNispen
15/04/08, 20:20
Dat vind ik nogal veel. Een Dell M1000e chassis met 15x M600 Dual Quad Core 2.0Ghz+8GB RAM+2x73 HDD doet namelijk ook ongeveer 9A-10A. Dat scheelt nogal.

Bedankt Wido. Dat is ongeveer wat ik had uitgerekend met mijn SuperMicro matrix.

@Merlijn,

Je vergelijkt nu 10 blades met een E5310 met blades met een dual Quad 2.0Ghz. Gaat het in dat geval dan niet om de L5335 ? Die is namelijk 30Watt zuiniger dan een E5310


Maar, zonder vervelend te worden wil ik dan toch nog even terug komen op mijn feit dat je dus geen redundante iSCSI koppelijk hebt. Iets wat je toch wel wilt als je redundant storage hebt. Zeker als je gebruik maakt van iSCSI.

Da's echt een misser wat mij betreft. Ik hoop dat daar nog een oplossing voor komt, dan zou ik er gelijk 1 willen.

Je kunt toch gewoon een dual NIC of quad NIC Intel PCIe kaart op een blade prikken?

Jesperw
15/04/08, 23:45
Hoe dan? Je kunt toch geen kaartjes op blades prikken? Die dingen hebben aan de achterkant een soort universele aansluiting en verder doe je alles via je chassis. Maximaal 2 poortjes per blade dus.

frankske
15/04/08, 23:49
Op die intel "computing units" (intel doet hard zijn best om het geen blade te noemen) dus wel. Heb je standaard 2 gigE poortjes, en kan je "mezzanine card" komen om er 4 te hebben.

Jesperw
15/04/08, 23:51
En waar druk je dat ding dan in? Want ik voorzie een fysiek probleem want ik vraag me dan af waar dat zou moeten passen.

FransVanNispen
15/04/08, 23:54
Hoe dan? Je kunt toch geen kaartjes op blades prikken? Die dingen hebben aan de achterkant een soort universele aansluiting en verder doe je alles via je chassis. Maximaal 2 poortjes per blade dus.

Uhm, dat lijkt te kloppen. Ben ik fout voorgelicht. Is inderdaad een probleem :(

Jesperw
15/04/08, 23:56
Ik wil het principe niet afkraken hoor, ik ben alleen teleurgesteld. Ik was er een beetje verliefd op geworden, maar ik kan maar niet begrijpen dat hier niet over is nagedacht. Zo'n ding is juist zo geschikt voor die toepassing zoals wij (en jullie) hem willen gebruiken.

luser
15/04/08, 23:58
Op die intel "computing units" (intel doet hard zijn best om het geen blade te noemen) dus wel. Heb je standaard 2 gigE poortjes, en kan je "mezzanine card" komen om er 4 te hebben.

Klopt, is al eerder zowat als de HP & IBM blades. Zo kan je ook bv. FC aansluitingen op je blades hebben indien nodig.

Hoe doet jullie intel het kwa stroomverbruik?

FransVanNispen
16/04/08, 00:25
Ik wil het principe niet afkraken hoor, ik ben alleen teleurgesteld. Ik was er een beetje verliefd op geworden, maar ik kan maar niet begrijpen dat hier niet over is nagedacht. Zo'n ding is juist zo geschikt voor die toepassing zoals wij (en jullie) hem willen gebruiken.

Klopt inderdaad. Ik was van plan een Blade en Storage chassis in een rack te plaatsen en 2 kleinere SAS schijven in RAID of een USB boot stick per blade te plaatsen

En wat is die Infiniband DDR 20Gbit dan? Wellicht dat daar nog wat te halen valt?

Edit ging niet meer, maar ik zag dat Dell de extra poorten aanbied via mezzanine kaarten. Op de SM blades zijn 2 Infiniband connectors aanwezig en SM levert Inifiniband mezzanine HCA adaptors.

Het lijkt me dus ook voor de SM mogelijk meerdere netwerk poorten te hebben. Is het niet per direct, dan wel in de nabije toekomst

frankske
16/04/08, 09:43
@JesperW: ik heb het niet over de supermicro blades, maar over de Intel "modulaire chassis".

@luser: gisteren niet veel tijd gehad om te testen. Ik post later deze week of volgende week wel een stroomrapportje. De test-unit die wij hebben heeft 2 voedingen, 1 storage module, 1 net module, 1 management module, 3 sas-disks van 147GB, 2 computing units met elk 2 xeon 5300's (zou moeten nakijken welke) en 2GB ram.

luser
28/08/08, 11:15
@luser: gisteren niet veel tijd gehad om te testen. Ik post later deze week of volgende week wel een stroomrapportje. De test-unit die wij hebben heeft 2 voedingen, 1 storage module, 1 net module, 1 management module, 3 sas-disks van 147GB, 2 computing units met elk 2 xeon 5300's (zou moeten nakijken welke) en 2GB ram.

Heb je al iets van resultaten ondertussen? Ben aan het overwegen zo een doos aan te kopen voor een virtualisatie project :)

Ahead-IT
28/08/08, 11:37
Wij hebben een blade staan, als je die even wil testen kan je langskomen. ;)

Je mag er vanuitgaan dat blades een stuk zuiniger zijn, daar ze 93% efficiënt zijn.

De Supermicro DatacenterBlade kan je gebruiken met VMware ESXi, met bv 3 x SAS drive in RAID 5. Deze maakt dan ook direct gebruik van reg. ecc geheugen, wat energievriendelijker is dan FBDIMM. (SuperBlade)

Opstelling is bijvoorbeeld:
1 x blade enclosure met KVM/Gbit Switch
3 x blade SBI-7425C-S3 met 3 x 73GB SAS drive RAID 5, 12GB geheugen en 2x low voltage Quad Core 2.33Ghz (L5410)
= 36GB geheugen & pool van 56Ghz rekenkracht

Komt uit op een 9k, elke blade die je bijplaats is goedkoper omdat het enclosure goed is voor 14 blades, 2.2k per blade.
Ga je voor dezelfde config met "losse" servers, dan zit je snel aan 3k per server; die lang niet zo energiezuinig zijn.

Een vol chassis geef dus 168GB geheugen (6x2GB modules per blade), 261Ghz rekenkracht & 2TB storage, voor een 33k. Dat zal je niet snel vinden bij Dell, HP, IBM, .... .

4GB en 8GB modules ook beschikbaar, respectievelijk 336GB en 672GB geheugen. Storage gaat tot 2TB RAID 5 per blade, dus 28TB totaal.

gjtje
28/08/08, 12:06
Maar in zo'n configuratie zou ik zelf opteren voor een centrale storage en booten via LAN. Zoals Jesper al aangaf lijkt het niet mogelijk om een gescheiden redundante lan/wan/iscsi setup te maken omdat er niet genoeg netwerk poorten in zitten.

Ahead-IT
28/08/08, 12:14
Maar in zo'n configuratie zou ik zelf opteren voor een centrale storage en booten via LAN. Zoals Jesper al aangaf lijkt het niet mogelijk om een gescheiden redundante lan/wan/iscsi setup te maken omdat er niet genoeg netwerk poorten in zitten.
Je kan dit wel MAAR je zal de iSCSI netwerkkaarten ook moeten gebruiken voor ander verkeer; en dat is niet optimaal. We hebben de blades getest met iSCSI en halen 150MB/s over één Gbit kaart met iometer random test, file size 4GB, icm Supermicro Open-E SAN iSCSI. Performance zit dus goed!

Het is eigenlijk de bedoeling dat centrale storage gebeurd via Infiniband, maar dit is niet goedkoop natuurlijk. Binnen enkele weken komen er trouwens modules met 10Gbe ethernet. (2 x 10Gbe voor volledig enclosure of 1 x 10Gbe per blade)

Netbyte
11/09/08, 16:09
Mochten mensen geinterreseerd zijn in HP blade systemen (p en c blades), dan kan ik daar eventueel wat informatie over verstrekken (stroom gebruik, cooling, etc..).

crazycamel
08/10/08, 00:48
Hi,

heb je de ESXI op een datacenterblade in gang gekregen? Het lukt me niet... Het zou ook niet compatible zijn volgens de HCL van VMWARE