Dataroom power probleem, wat kun je ertegen doen?

[Swiftway-UK]

Zoals de meeste mensen op dit forum inmiddels vast al weten, is Swiftway bezig met onderzoek naar een eigen datacentrum oplossing in Amsterdam. Het grootste probleem wat elke datacentrum tegenkomt is power en koeling, ik wil jullie de oplossingen en tips niet onthouden die wij tegen zijn gekomen.

Eerst een aantal feiten op een rij zoals wij ze zijn tegengekomen:

Op server niveau

1. Meeste AC voedingen leveren een tussen de 75% en 85% efficiëntie, dit betekent een verlies van 15 tot 25% van de energie per server

2. Meeste AC voedingen draaien op een 60 procent belasting, dit verlaagt de efficiëntie naar 65% tot 75%

3. Een 10 graden verschil in Interne temperatuur van een server, verlaagd de levensduur van de componenten met 50%.

4. Een Interne AC voeding heeft een MTBF (Mean Time Between Failure) van ongeveer 100 000 uur.

5. De AC en CPU van een server gebruiken samen de meeste power in een server.

Op Datacentrum niveau

1. Energie transport tussen power grid en transformer: 98% efficiëntie
2. UPS: 74 - 94% efficiëntie
3. Power Distribution Unit (PDU) : 98% efficiëntie
4. AC power supply in server: 75% - 85% efficiëntie.

Dit betekent dat tot 63% van de power naar de server verloren gaat.
Tot 40% van het verlies is toe te rekenen aan de interne power supply van de server.

Een aantal eenvoudige oplossingen:

1. Kies een AC voeding met een zeer hoge efficiëntie.
2. Kies een AC voeding die 25% tot 30% meer power levert dan de server nodig heeft, niet meer dan dat!
3. Kies een energie zuinige CPU, kies een CPU op maat naar je benodigheden.
4. Bouw geen onnodige componenten in een server, zoals CDrom drive, floppy disk, drives die niet gebruikt worden, etc.

Een lastigere oplossing, maar zeer interessant om te overwegen is:

1. Vervang de AC voeding met een DC power kaart (93% efficiëntie)
2. Lever de DC voeding aan met een centraal geplaatste AC/DC converter in de rack, ze nemen 2U ruimte in beslag en leveren een veel hogere efficienty plus de MTBF is 250 000 uur in plaats van 100 000 uur.

Voordelen

- 20 tot 40% minder hitte in de servers zelf (interne hitte) en hierdoor een hogere levensduur van server componenten.
- Makkelijker te koelen
- Energie besparing tot 18% per rack
- Hogere MTBF

Nadeel

- Indien centrale AC-DC converter stuk gaat, is het hele rack offline.


Verder bevestigen verschillende bronnen dat hot isle/cold isle niet de beste manier (meer) is om een DC te koelen. warme lucht word uitgeblazen in de hot isle en door het verhoogde energie gebruik van vandaag, moeten deze rijen breder gemaakt worden dan dat ze nu standaard zijn.

Een oplossing is een gesloten installatie, waar koude lucht door de cabinet geblazen word en aan de top van elk rack de inlaat gemonteerd is naar de airco units, zodoende komt er geen warme lucht meer in de DC ruimte en hoeft men ook geen gangen en ongebruikte m2 meer te koelen.

Of dit laaste klopt, gaan wij dieper onderzoeken, wat is jullie mening hierover? hebben jullie nog tips om het stroomverbruik naar beneden te drukken?

[Thijs]

Een dergelijk bedrijf dat DataCenters bouwt kan je heel goed adviseren weet ik uit ervaring.

[Swiftway-UK]

Een dergelijk bedrijf dat DataCenters bouwt kan je heel goed adviseren weet ik uit ervaring.

Idd. Maar sommige keuzemogelijkheden zoals CPU gebruik, welk rendement aan voeding gebruikt word en zelfs centraal DC power gebruiken kan al gemaakt worden op rack niveau. Zeker met de huidige stroomprijs en stroombeperkingen per rack kunnen aanbieders van bijvoorbeeld dedicated servers flink besparen door dit goed uit te werken.

[RayManZ]

WeDare heeft toch hun koele paden overdekt gemaakt? Zodat de koele lucht alleen maar door de racks kunnen? Dat leekt mij wel een hele slimme oplossing. Zo koel je geen onnodige dingen en weet je zeker dat de lucht gaat waar het heen moet.

[Swiftway-UK]

Nu ik er nog eens overdenk, is DC stroom gebruiken ook wel een hele goede marketing voor je dedicated server dienst, immers voor de klant is er een belangrijk voordeel:

Minder kans op defecten in de dedicated server, omdat er minder warmte opgewekt word in de dedicated server zelf.

[cac]

misschien kunnen datacenters gebruik maken van warmtewissellaars in de grond. op een bepaalde diepte is de temperatuur constant 12 graden ofzo.

In de zomer kan je verkoelen, en in de winter verwarmen.

voorbeeld:

http://www.bovema-sair.nl/nieuws_koelingverwarming.htm

[ivs]

Ik heb hier ook eens over na gedacht en kwam toen ook tot de conclusie dat het niet zo'n gek idee is om zowel de hot als de cold isle af te gaan sluiten en daar separate kanalen van te maken. Je kunt dan extra afzuiging op de hot isle zetten en je hoeft maar een veel kleiner gebied te koelen.

[Paulewk]

Je spreekt hier over defecten.. echter vooral over Voedingen in dat geval.

Terwijl het eerste onderdeel wat stuk zal gaan in een server toch in 9 v/d 10 gevallen de harde schijf zal zijn, dus dat de voeding langer zal overleven zal weinig uitmaken, wij hebben servers draaien die kouder zijn als koeltorens, maar hd's gaan toch stuk onder belasting...

Ik moet overigens zeggen dat sommige dingen die je noemt erg interresant zijn als je dedicated aanbied, helaas kan je hier met colo geen gebruik van maken :/ (je kunt moeilijk verwachten dat iedereen z'n voeding gaat vervangen)

[Swiftway-UK]

Ik heb hier ook eens over na gedacht en kwam toen ook tot de conclusie dat het niet zo'n gek idee is om zowel de hot als de cold isle af te gaan sluiten en daar separate kanalen van te maken. Je kunt dan extra afzuiging op de hot isle zetten en je hoeft maar een veel kleiner gebied te koelen.

Geen slecht idee inderdaad, maar in zo een hot isle word het dan wel ontzettend warm, misschien te warm om in te werken?

Ook moet je dan ervoor zorgen dat geen warme lucht richting koude straat kan en vica versa, je moet dus geen ruimte in kasten open laten (kun je ook platen voor gebruiken).

Ik vraag me ook af of zo een oplossing mogelijk is onder de strenge brandweervoorschriften.

Ik zie de voordelen, maar ook de mogelijke nadelen en hinderingen van zo een oplossing. Koude lucht blazen door het cabinet en direct boven afvoeren lijkt me dan een beter idee.

Terwijl het eerste onderdeel wat stuk zal gaan in een server toch in 9 v/d 10 gevallen de harde schijf zal zijn, dus dat de voeding langer zal overleven zal weinig uitmaken, wij hebben servers draaien die kouder zijn als koeltorens, maar hd's gaan toch stuk onder belasting...

Zou het toch wat uitmaken in HDD levensduur als de voeding niet in de server zou zitten vraag ik me af? jullie hebben natuurlijk wel een heel specifieke applicatie die flink wat belasting legt op jullie HDD systemen, maar ik vraag me af of de levensduur iets verlengt word door de voeding (en de warmte ervan) niet in de server zelf te bouwen?

Alle beetjes helpen immers. Als je de gemiddelde levensduur met 30 dagen per HDD kan verlengen met zo een oplossing, zou dat veel geld kunnen besparen.

[Paulewk]

Om eerlijk te zijn denk ik dat het niets uitmaakt remon, de voedingen in 90% van onze servers zitten namelijk niet in de buurt van de harde schijven.

[Magus]

Is het niet mogelijk om het hele isle idee te laten varen en gesloten kasten te gebruiken, die van bovenaf actief koel ingeblazen worden en onderaan hun warmte kwijt kunnen?

Then again, dit zal wel lastig zijn met warmte distributie, onderaan wordt het dan veel warmer, misschien wel te warm? Ik neem aan dat dit al lang tegen de geperforeerde kasten en warme/koude gang is afgezet.

[3j3ct]

Is het niet mogelijk om het hele isle idee te laten varen en gesloten kasten te gebruiken, die van bovenaf actief koel ingeblazen worden en onderaan hun warmte kwijt kunnen?

Then again, dit zal wel lastig zijn met warmte distributie, onderaan wordt het dan veel warmer, misschien wel te warm? Ik neem aan dat dit al lang tegen de geperforeerde kasten en warme/koude gang is afgezet.

warme lucht stijgt dus ga je tegen de natuurkundige krachten inwerken?

[Swiftway-UK]

Is het niet mogelijk om het hele isle idee te laten varen en gesloten kasten te gebruiken, die van bovenaf actief koel ingeblazen worden en onderaan hun warmte kwijt kunnen?

Zoals ik al aangaf, is het idee om voortaan gesloten kasten te gebruiken, van ONDER koele lucht erdoorheen te blazen en van BOVEN direct de warme lucht naar de airco te voeren.

Ik denk dat er alleen een goede manier gevonden moet worden om die koele lucht ook van onder naar voren te blazen, zodat servers de koele lucht ook aan kunnen zuigen, maar eventueel kan dit door de servers wat dieper in het rack te plaatsen.

[Magus]

Hoe je het ook doet, het een werkt wellicht makkelijker dan het ander, het probleem blijft dat op het afvoerpunt de lucht het heetste zal zijn aangezien alle servers steeds een beetje aan de warmtetoevoer bijdragen.

Je krijgt dan vreemde situaties: Ik zou niet graag vlak aan het afvoerpunt mijn servertje hebben hangen, doe mij maar een plekje bij de koude aanvoer.

[Paulewk]

Je krijgt dan vreemde situaties: Ik zou niet graag vlak aan het afvoerpunt mijn servertje hebben hangen, doe mij maar een plekje bij de koude aanvoer.

Met het warme / koude gang principe heb je hier dus geen last van....

Zowieso, ditgene wat jij omschrijft kan nooit gaan werken, als er namelijk 1 'warme' server boven de koude lucht invoer hangt, dan is de complete lucht in het rack verziekt.