PDA

Bekijk Volledige Versie : Levering stroom.... VEEL stroom



oehTie
22/06/08, 11:55
:lovewht:

Net even op de dell datacenter planner zitten kl****n.

schitterend rack gebouwd, op basis van blade enclosures. Uiteindelijk had ik een prima high-density rack met 1024 processor cores. Leuk voor diegene die VPS aanbieden als core business heeft of gewoon heel veel zware websites hosts.

Maar nu het volgende. 4 enclosures, 64 servers, 1024 processor cores, totaal 512 gb ram en een kleine mooie 18,25 TB schijfruimte. (raid 1 dus 9,125 TB bruikbaar) is allemaal schitterend, maar het rack verbruikt met de instelling 'I/O intensive' wel mooi bijna 61 AMPERE VOOR 1 RACK

Bestaan er datacentra in nederland die dit schitterende stukje techniek uberhaubt kunnen leveren? Of gaat dit wel maar gaat vervolgens koeling een mayor probleem worden? Hoe denken jullie hier over?




edit: Ik ben al voor Opteron HE processoren gegaan, die zijn zuiniger. En nog een kleine toevoeging, er zou zelfs nog meer geheugen en dus stroomverbruik bijkunnen.

SF-Jeroen
22/06/08, 12:10
Geheugen gebruikt nou niet zoveel stroom hoor, harddiscs is al een stuk meer

Wynand
22/06/08, 12:26
Maar nu het volgende. 4 enclosures, 64 servers, 1024 processor cores, totaal 512 gb ram en een kleine mooie 18,25 TB schijfruimte. (raid 1 dus 9,125 TB bruikbaar) is allemaal schitterend, maar het rack verbruikt met de instelling 'I/O intensive' wel mooi bijna 61 AMPERE VOOR 1 RACK

Bestaan er datacentra in nederland die dit schitterende stukje techniek uberhaubt kunnen leveren? Of gaat dit wel maar gaat vervolgens koeling een mayor probleem worden?Niet standaard lijkt me, ik zou gewoon rechtstreeks contact opnemen met datacentra, maar 61 ampere is echt niet niets. Ik weet niet hoeveel servers dat dat zijn (of blades), maar ik zou geen 60 ampere proberen te trekken over een stroomblok met draden van 2,5mm² (minimaal 10mm², 16mm² aan te raden..).

Triloxigen
22/06/08, 12:40
Heb je ook gekeken of het wel te koelen is in een gangbaar dc?

Ryan Kalkhoven
22/06/08, 12:43
Naar mijn idee moet je jezelf ook afvragen of je 4 enclosures in 1 rack zou willen hebben.
Een stukje risico spreiding lijkt me ook niet slecht. Dus in mijn ogen zou ik het nooit in 1 rack stoppen maar minimaal in 2 of zelfs in 3.

Op zich denk ik dat een aantal datacentra nog best meer dan 60 Amp kunnen leveren, maar ze kunnen het waarschijnlijk niet koelen. Dus ook voor het koelvermogen zal je het al snel moeten spreiden over meerdere racks.

Apoc
22/06/08, 12:52
Er zijn naar het beste van mijn weten in Nederland geen "publieke" datacenters die dit kunnen aanbieden. De enige manier waarop het aangeboden kan worden is door stroom weg te trekken van andere racks in de buurt van het rack (waardoor die racks dus ook niet gebruikt kunnen worden), maar dan kan je dus net zo goed de blades verdelen over de racks.

In de VS wordt wel gewerkt aan dit soort DC's, bijvoorbeeld SuperNAP; http://www.switchnap.com/pages/products/the-supernap-video.php - 60kilowatt per rack (dat is op 230 Volt zo'n 260A). Ik moet het eerst nog zien voordat ik het geloof (het DC is nog niet geopend), maar dat is in ieder geval wat ze adverteren

az-nzl
22/06/08, 13:08
De stroom voor het rack leveren zal niet echt een probleem zijn, de koeling zal je m.b.v. watercooling of een andere specifieke techniek ook kunnen afvangen.
Er is mij momenteel minimaal één, carrier-neutral, DC bekend in AMS dat dit claimt te kunnen leveren. Van een ander vermoed ik dat ze het eventueel ook zouden kunnen, heb het daar echter nooit mee overgehad.

Apoc
22/06/08, 13:56
De stroom voor het rack leveren zal niet echt een probleem zijn, de koeling zal je m.b.v. watercooling of een andere specifieke techniek ook kunnen afvangen.


Dat zie ik nog niet gebeuren, dan moeten de servers zelf daar ook op aangepast worden. Mocht je het over de cooling in het DC zelf hebben; dat wordt al met water gedaan he. Vanaf de AC units wordt alle warmte via water afgevoerd naar de chillers (meestal op het dak).

60A warmte afvoeren kan prima, alleen moet daar wel je infrastructuur op zijn ingesteld.

Paul Z.
22/06/08, 14:08
Ik zie niet in waarom een DC die 13-14kW niet zou kunnen koelen voor een rack. (Is niet echt "veel"...) Kwa voeding kan je het beste een 3~ aansluiting gebruiken, en dan houd je nog maar ~20A per fase over. Alleen moet de N ader van voldoende diameter wezen ;-) .

Alle rackmounted apparatuur is gebouwd om geen last er van te hebben als er apparatuur boven en onder zit (strak er tegenaan), het enige wat je niet wilt doen waarschijnlijk is achter dat rack gaan staan als alle cores op volle belasting draaien...

Zowiezo, het topic geeft aan dat de TS denkt dat 61A veel stroom is voor een vol rack.... Nou dat valt wel mee hoor! ;-). Een 46U rack vol met 1U dual Opterons / Xeons met een sloot geheugen en 4x 15k schijven trekt waarschijnlijk veel meer...

oehTie
22/06/08, 14:32
Zoals paul aangeeft kan het nog veel meer, ik heb de HE versies van de dual-opteron quadcore processoren genomen. Gebruik van reguliere opterons levert al makkelijk 30 watt per processor extra op. Dus nog eens 33 ampere extra.

Maar als je hier ziet dat Racks vaak aangeboden worden met een max van 32 ampere. Aangezien een rack rustig 40 tot 48 U kan hebben zit je gewoon aan een limiet als je 1u servers gebruikt. En dan te bedenken dat je met blades, rustig 16 servers op 10 u kan zetten.

Het DC wat apoc noemt ziet er veelbelovend uit. Deze hebben het makkelijk met de infra in verband met de bouw van een nieuw dc. Ik neem aan dat daar bijna hoogspanning gebruikt wordt tussen de suites in het dc. 60 kw per rack is helemaal extreem.

Randy
22/06/08, 15:01
Er zijn 3 datacentra in Nederland die dit kunnen leveren. Echter; Als je dergelijke nodes gaat inzetten voor VPS of clustering, ga je niet voor raid 1 aar boot je iSCSI over je SAN. Dus de diskjes kun je allemaal weghalen en vervangen door een Equalogic (of twee).

Phu
22/06/08, 15:22
Klant van ons staat in HD datacenter alleen of je de prijzen wilt betalen is de vraag
3000 euro per rack inclusief koeling exclusief stroom

Je krijgt er wel 100 % powergarantie A +B feed 64 AMP per feed
2x uplinks naar links en recht van het gebouw

santema
22/06/08, 19:19
Maar als je hier ziet dat Racks vaak aangeboden worden met een max van 32 ampere.

Vaak?

Een enkele keer, meestal is dit 10 tot 14 Ampere per rack. Dat voldoet ook wel voor de meeste dingen, alleen die dell rommel misbruikt stroom (ookal is dat met de R200 en R300 servers al wat beter).

dreamhost_nl
22/06/08, 19:41
Als je een blade server ophangt met daarin tig blades zal je altijd een grote hoeveelheid stroom consumeren, ongeacht het merk van je hardware (Sun, Dell, Supermicro).

Apoc
22/06/08, 19:55
Ik denk dat je vooral de afweging moet maken of bladeservers wel daadwerkelijk goedkoper zijn. Natuurlijk zijn ze qua stroomverbruik efficienter en ook goedkoper dan losse 1u servers - althans.. dat lijkt me, ivm het feit dat je per blade maar 3 grote powersupplies nodig hebt t.o.v. 24 powersupplies bij 12 redundante 1u servers. Maar om zo veel stroom te kunnen gebruiken per rack, betaal je natuurlijk wel weer veel meer. En dan doel ik uiteraard niet op de stroomprijs zelf, maar vooral op de aangepaste infrastructuur die nodig is.

Spyder01
22/06/08, 20:06
In de VS wordt wel gewerkt aan dit soort DC's, bijvoorbeeld SuperNAP; http://www.switchnap.com/pages/products/the-supernap-video.php - 60kilowatt per rack (dat is op 230 Volt zo'n 260A). Ik moet het eerst nog zien voordat ik het geloof (het DC is nog niet geopend), maar dat is in ieder geval wat ze adverteren

Grappig om SwitchNAP hier terug te zien. Voor zover ik mij kan herinneren is voor 2 of 3 jaar terug ook al eens iets dergelijks van SwitchNAP naar buiten gekomen.

Ben benieuwd, het ziet er wel veelbelovend uit.

Triloxigen
22/06/08, 20:11
Vaak?

Een enkele keer, meestal is dit 10 tot 14 Ampere per rack. Dat voldoet ook wel voor de meeste dingen, alleen die dell rommel misbruikt stroom (ookal is dat met de R200 en R300 servers al wat beter).
Mijn ervaring is juist dat dell minder stroom verbruikt dan de concurrent?

Stewie
22/06/08, 21:12
Het is de reputatie he :)
Dell voedingen hebben een bijzonder hoog rendement.

thunder
23/06/08, 02:00
Het is de reputatie he :)
Dell voedingen hebben een bijzonder hoog rendement.

een hoog rendement zegt niets over het verbruik van hun onderdelen he ;)

oehTie
23/06/08, 16:50
nope, enkel de voeding zelf gebruikt weinig... een mobo wat 30 watt en een processor van 125 erbij en je hebt alsnog een onzuinig systeem. Maar als ik de configs bekijk in de dell dccp dan rekenen ze ook wel ruim hoor, een harde schijf rustig 15 watt per stuk en een koeler 11 watt.

GlennMatthys
23/06/08, 18:37
<knip>

oehTie
23/06/08, 19:14
<knip>

GlennMatthys
23/06/08, 19:16
<knip>

HostingTotaal
24/06/08, 14:17
Contact opnemen met een bedrijf die je een hele mooie HP oplossing kan aanbieding met hun liquid cooled HD racks. zie: http://media.techtarget.com/digitalguide/images/Misc/dc_cooling_6.jpg

oehTie
24/06/08, 14:23
dat is het apc-eiland principe, werkt inderdaad schitterend. want je hebt geen airco meer in de ruimte nodig. alle warme lucht wordt naar achter uit het rack geblazen en kan alleen via de koelingunits naast de racks terug te normale ruimte in.

Dan moet je inderdaad alleen de stroom levering nog zo hoog kunnen krijgen. Maar dat zal een kleinigheid zijn als de infrastructuur er op voorbereid is.

gjtje
24/06/08, 16:53
Dat werkt alleen als je een externe aanvoer hebt van kou, anders wordt er nog steeds een unit heel erg warm om voldoende koeling te kunnen leveren en dat moet wordt gekoeld worden.

Er is ooit gesproken over DC met een centraal waterkoelingsysteem, echter of die al bestaan weet ik niet.

Meer ontopic, zelfs als een partij er niet mee adverteert zouden ze dit kunnen leveren, kwestie van vragen. Daarnaast zou ik zeker na denken om de blades over meerdere racks te verdelen. Het levert weinig op om alles in een rack te stoppen en stelt wel enorme eisen aan de omgeving.

Gwen
24/06/08, 17:26
Antwoord op je vraag: Ja, deze zijn er. Wij zijn momenteel bezig met oplevering van ons nieuwe rack in Telecity 4. Deze kunnen zelfs nog veel meer dan 60A per rack leveren.

Wij zijn nu hier van uit gegaan, maar meer is geen enkel probleem voor zover ik weet (wellicht wel andere koel technieken, maar ze kunnen alles leveren):

1 (one) 19 inch rack
(60x120cm 46U)
8 9-way power bars (36 slots in total)
8 16 Amp power feeds (4 A and 4 B)
Maximum 6000 Watt (air cooled)

alexbik
25/06/08, 17:44
Nou, maar even een schaamteloze plug dan... In BIT-2 is dit geen probleem. Racks zijn leverbaar met stroomvoorzieningen tot en met 3x32A. En dat is ook te koelen, anders is het natuurlijk zinloos om het aan te bieden. Zie www.bit.nl/stroom.

Apoc
25/06/08, 17:49
En dat is ook te koelen, anders is het natuurlijk zinloos om het aan te bieden.

Die aanname kan je niet zomaar maken. Ten eerste worden stroomfeeds altijd hoger afgezekerd dan het daadwerkelijke verbruik (anders heb je bij de eerste de beste piek een stop die eruit ligt). Ten tweede worden meerdere stroomfeeds meestal geleverd voor redundantie, niet voor constant gebruik.

Het is dus zaak om eerst te informeren over hoeveel stroom je mag gebruiken per rack, voordat je een rack afneemt.

Wynand
25/06/08, 17:54
Die aanname kan je niet zomaar maken. Ten eerste worden stroomfeeds altijd hoger afgezekerd dan het daadwerkelijke verbruik (anders heb je bij de eerste de beste piek een stop die eruit ligt).Een gewone automaat van bijv. 16A springt niet direct wanneer de stroom op 16,05 A komt te staan, ook niet bij tijdelijk 20 of 30 A. Een automaat is er in de eerste plaats om de kabeluitrusting te beschermen, niet om dicht te slaan wanneer er eventjes teveel verbuikt wordt.
Een automaat waar teveel stroom door vloeit, springt afhankelijk van de groote van de extra stroom pas na ettelijke uren.


Ten tweede worden meerdere stroomfeeds meestal geleverd voor redundantie, niet voor constant gebruik.Wat in het geval van BIT2 dus uitkomt op 2(A+B)x 3-fase 32 ampere (wat op zijn beurt weer 2 kringen van 96 ampere monofase (omgevormd) betekend).


Het is dus zaak om eerst te informeren over hoeveel stroom je mag gebruiken per rack, voordat je een rack afneemt.Staat er gewoon letterlijk bij, 22kW.
http://www.bit.nl/home/faciliteiten/datacenter/bit-2/stroom/

oehTie
25/06/08, 21:34
Een gewone automaat van bijv. 16A springt niet direct wanneer de stroom op 16,05 A komt te staan, ook niet bij tijdelijk 20 of 30 A. Een automaat is er in de eerste plaats om de kabeluitrusting te beschermen, niet om dicht te slaan wanneer er eventjes teveel verbuikt wordt.
Een automaat waar teveel stroom door vloeit, springt afhankelijk van de groote van de extra stroom pas na ettelijke uren.



helaas is dat tegenwoordig niet meer zo. Vroegah kon je door langzaamaan het vermogen op te schroeven rustig 20 ampere uit een 16 ampere stop trekken. De automaten van tegenwoordig zijn veel preciezer. Als je een 16ampere zekering hebt en je mag 16 ampere trekken, dan is de kans zeer zeker aanwezig dat bij de eerste piek erboven de feed uitvalt. (en door de piek die de 2e feed vervolgens krijgt die ook en dus je rack plat)

aldus de electricien die mijn meterkast thuis opnieuw aangelegd heeft afgelopen maand...

Wynand
25/06/08, 21:42
helaas is dat tegenwoordig niet meer zo. Vroegah kon je door langzaamaan het vermogen op te schroeven rustig 20 ampere uit een 16 ampere stop trekken.Jaren 60, toen we nog op 110V en stoffen isolatie zaten? :D
Die 20 A stop ging er na een tijd toen ook al wel door hoor. ;)

De automaten van tegenwoordig zijn veel preciezer. Als je een 16ampere zekering hebt en je mag 16 ampere trekken, dan is de kans zeer zeker aanwezig dat bij de eerste piek erboven de feed uitvalt. (en door de piek die de 2e feed vervolgens krijgt die ook en dus je rack plat)Hey, ik heb het over gewone installatieautomaten, niet over die dingen die ze in sommige DC's tot zelfs appartementen waar je een vast bedrag per maand voor stroom betaald, die springen wanneer je 10 milliampere verbruikt. ;)
Een gewone installatie automaat trekt er een stukje metaal langzaam krom, bij een grote stroom sneller dan bij een normale (ofwel de afzekeringswaarde van die zekering), eenmaal het voorbij een bepaald punt krom trekt, springt je zekering. Dat process duurt enige tijd, en zal niet gebeuren door een piek van 50 A gedurende een halve seconde op een zekering van 16 A.

Maar bon, we gaan hier offtopic. Het punt is dus dat je 22kW/96 ampere op 230 Volt (/32A op 380) mag trekken per feed, waarbij er een onbelast moet blijven, in het geval van BIT2.

oehTie
26/06/08, 01:59
Maar bon, we gaan hier offtopic. Het punt is dus dat je 22kW/96 ampere op 230 Volt (/32A op 380) mag trekken per feed, waarbij er een onbelast moet blijven, in het geval van BIT2.

:) (headbang)

alexbik
25/08/08, 16:40
Ik blijf me verbazen over opmerkingen dat datacenters wel zoveel stroom zouden kunnen leveren maar het vervolgens niet zouden kunnen koelen. Zijn er echt datacenters die dat doen, wel stroom leveren maar niet kunnen koelen?

Wij bieden in ieder geval nooit meer stroom aan dan we kunnen koelen, dat gaat tot max 96A per rack. En dat kunnen we dan uiteraard ook gewoon koelen. Er zijn wel een aantal voorwaarden aan verbonden waar de klant aan moet voldoen. Zo moet de apparatuur aan de voorzijde koude lucht aanzuigen en aan de achterkant (en alleen aan de achterkant) warme lucht uitblazen. Verder is het essentieel dat alle niet gebruikte ruimte in het rack wordt afgedicht. Dat lijken inkoppers, maar je zou ze de kost moeten geven die daar geen rekening mee houden.

Prijzen die hier genoemd worden schrik ik nogal van. Prijzen rond de 500 euro per rack lijken me redelijker. Exclusief stroomverbruik wel te verstaan. En natuurlijk wat eenmalige kosten om e.e.a. te installeren.

We hebben vanaf eind volgend jaar pas weer ruimte overigens :)

oehTie
25/08/08, 16:48
Ik kan me wel iets voorstellen bij overselling. Als een datacentrum 16A per rack kan koelen, maar 100A kan leveren, (ik noem even maar willekeurige getallen) en gemiddeld nemen klanten 10 A per rack af, dan heb je 6A koelcapaciteit over per rack.

Als dan 1 klant 100A afneemt zal het zeker op 1 punt in de zaal onaangenaam worden. Echter zal de koeling niet gelijk overbelast raken.

Gaat het datacentrum aan iedereen 100A leveren terwijl ze dit werkelijk niet kunnen koelen zijn ze verkeerd bezig en is het aftellen wanneer de eerste grote storing plaatsvind.

parmaweb
25/08/08, 18:55
dan spreek je niet over overselling. integendeel. ze verkopen minder dan ze kunnen. Op deze wijze is een veiligheid ingelast. Maar zelfs dan gaat het soms nog verkeerd.