Levering stroom.... VEEL stroom

[oehTie]

Net even op de dell datacenter planner zitten kl****n.

schitterend rack gebouwd, op basis van blade enclosures. Uiteindelijk had ik een prima high-density rack met 1024 processor cores. Leuk voor diegene die VPS aanbieden als core business heeft of gewoon heel veel zware websites hosts.

Maar nu het volgende. 4 enclosures, 64 servers, 1024 processor cores, totaal 512 gb ram en een kleine mooie 18,25 TB schijfruimte. (raid 1 dus 9,125 TB bruikbaar) is allemaal schitterend, maar het rack verbruikt met de instelling 'I/O intensive' wel mooi bijna 61 AMPERE VOOR 1 RACK

Bestaan er datacentra in nederland die dit schitterende stukje techniek uberhaubt kunnen leveren? Of gaat dit wel maar gaat vervolgens koeling een mayor probleem worden? Hoe denken jullie hier over?




edit: Ik ben al voor Opteron HE processoren gegaan, die zijn zuiniger. En nog een kleine toevoeging, er zou zelfs nog meer geheugen en dus stroomverbruik bijkunnen.

[SF-Jeroen]

Geheugen gebruikt nou niet zoveel stroom hoor, harddiscs is al een stuk meer

[Wynand]

Maar nu het volgende. 4 enclosures, 64 servers, 1024 processor cores, totaal 512 gb ram en een kleine mooie 18,25 TB schijfruimte. (raid 1 dus 9,125 TB bruikbaar) is allemaal schitterend, maar het rack verbruikt met de instelling 'I/O intensive' wel mooi bijna 61 AMPERE VOOR 1 RACK

Bestaan er datacentra in nederland die dit schitterende stukje techniek uberhaubt kunnen leveren? Of gaat dit wel maar gaat vervolgens koeling een mayor probleem worden?

Niet standaard lijkt me, ik zou gewoon rechtstreeks contact opnemen met datacentra, maar 61 ampere is echt niet niets. Ik weet niet hoeveel servers dat dat zijn (of blades), maar ik zou geen 60 ampere proberen te trekken over een stroomblok met draden van 2,5mm² (minimaal 10mm², 16mm² aan te raden..).

[Triloxigen]

Heb je ook gekeken of het wel te koelen is in een gangbaar dc?

[Ryan Kalkhoven]

Naar mijn idee moet je jezelf ook afvragen of je 4 enclosures in 1 rack zou willen hebben.
Een stukje risico spreiding lijkt me ook niet slecht. Dus in mijn ogen zou ik het nooit in 1 rack stoppen maar minimaal in 2 of zelfs in 3.

Op zich denk ik dat een aantal datacentra nog best meer dan 60 Amp kunnen leveren, maar ze kunnen het waarschijnlijk niet koelen. Dus ook voor het koelvermogen zal je het al snel moeten spreiden over meerdere racks.

[Apoc]

Er zijn naar het beste van mijn weten in Nederland geen "publieke" datacenters die dit kunnen aanbieden. De enige manier waarop het aangeboden kan worden is door stroom weg te trekken van andere racks in de buurt van het rack (waardoor die racks dus ook niet gebruikt kunnen worden), maar dan kan je dus net zo goed de blades verdelen over de racks.

In de VS wordt wel gewerkt aan dit soort DC's, bijvoorbeeld SuperNAP; http://www.switchnap.com/pages/produ...rnap-video.php - 60kilowatt per rack (dat is op 230 Volt zo'n 260A). Ik moet het eerst nog zien voordat ik het geloof (het DC is nog niet geopend), maar dat is in ieder geval wat ze adverteren

[az-nzl]

De stroom voor het rack leveren zal niet echt een probleem zijn, de koeling zal je m.b.v. watercooling of een andere specifieke techniek ook kunnen afvangen.
Er is mij momenteel minimaal één, carrier-neutral, DC bekend in AMS dat dit claimt te kunnen leveren. Van een ander vermoed ik dat ze het eventueel ook zouden kunnen, heb het daar echter nooit mee overgehad.

[Apoc]

De stroom voor het rack leveren zal niet echt een probleem zijn, de koeling zal je m.b.v. watercooling of een andere specifieke techniek ook kunnen afvangen.

Dat zie ik nog niet gebeuren, dan moeten de servers zelf daar ook op aangepast worden. Mocht je het over de cooling in het DC zelf hebben; dat wordt al met water gedaan he. Vanaf de AC units wordt alle warmte via water afgevoerd naar de chillers (meestal op het dak).

60A warmte afvoeren kan prima, alleen moet daar wel je infrastructuur op zijn ingesteld.

[Paul Z.]

Ik zie niet in waarom een DC die 13-14kW niet zou kunnen koelen voor een rack. (Is niet echt "veel"...) Kwa voeding kan je het beste een 3~ aansluiting gebruiken, en dan houd je nog maar ~20A per fase over. Alleen moet de N ader van voldoende diameter wezen ;-) .

Alle rackmounted apparatuur is gebouwd om geen last er van te hebben als er apparatuur boven en onder zit (strak er tegenaan), het enige wat je niet wilt doen waarschijnlijk is achter dat rack gaan staan als alle cores op volle belasting draaien...

Zowiezo, het topic geeft aan dat de TS denkt dat 61A veel stroom is voor een vol rack.... Nou dat valt wel mee hoor! ;-). Een 46U rack vol met 1U dual Opterons / Xeons met een sloot geheugen en 4x 15k schijven trekt waarschijnlijk veel meer...

[oehTie]

Zoals paul aangeeft kan het nog veel meer, ik heb de HE versies van de dual-opteron quadcore processoren genomen. Gebruik van reguliere opterons levert al makkelijk 30 watt per processor extra op. Dus nog eens 33 ampere extra.

Maar als je hier ziet dat Racks vaak aangeboden worden met een max van 32 ampere. Aangezien een rack rustig 40 tot 48 U kan hebben zit je gewoon aan een limiet als je 1u servers gebruikt. En dan te bedenken dat je met blades, rustig 16 servers op 10 u kan zetten.

Het DC wat apoc noemt ziet er veelbelovend uit. Deze hebben het makkelijk met de infra in verband met de bouw van een nieuw dc. Ik neem aan dat daar bijna hoogspanning gebruikt wordt tussen de suites in het dc. 60 kw per rack is helemaal extreem.

[Randy]

Er zijn 3 datacentra in Nederland die dit kunnen leveren. Echter; Als je dergelijke nodes gaat inzetten voor VPS of clustering, ga je niet voor raid 1 aar boot je iSCSI over je SAN. Dus de diskjes kun je allemaal weghalen en vervangen door een Equalogic (of twee).

[Phu]

Klant van ons staat in HD datacenter alleen of je de prijzen wilt betalen is de vraag
3000 euro per rack inclusief koeling exclusief stroom

Je krijgt er wel 100 % powergarantie A +B feed 64 AMP per feed
2x uplinks naar links en recht van het gebouw

[santema]

Maar als je hier ziet dat Racks vaak aangeboden worden met een max van 32 ampere.

Vaak?

Een enkele keer, meestal is dit 10 tot 14 Ampere per rack. Dat voldoet ook wel voor de meeste dingen, alleen die dell rommel misbruikt stroom (ookal is dat met de R200 en R300 servers al wat beter).

[dreamhost_nl]

Als je een blade server ophangt met daarin tig blades zal je altijd een grote hoeveelheid stroom consumeren, ongeacht het merk van je hardware (Sun, Dell, Supermicro).

[Apoc]

Ik denk dat je vooral de afweging moet maken of bladeservers wel daadwerkelijk goedkoper zijn. Natuurlijk zijn ze qua stroomverbruik efficienter en ook goedkoper dan losse 1u servers - althans.. dat lijkt me, ivm het feit dat je per blade maar 3 grote powersupplies nodig hebt t.o.v. 24 powersupplies bij 12 redundante 1u servers. Maar om zo veel stroom te kunnen gebruiken per rack, betaal je natuurlijk wel weer veel meer. En dan doel ik uiteraard niet op de stroomprijs zelf, maar vooral op de aangepaste infrastructuur die nodig is.