Bekijk Volledige Versie : Dataroom power probleem, wat kun je ertegen doen?
Swiftway-UK
19/01/07, 12:13
Zoals de meeste mensen op dit forum inmiddels vast al weten, is Swiftway bezig met onderzoek naar een eigen datacentrum oplossing in Amsterdam. Het grootste probleem wat elke datacentrum tegenkomt is power en koeling, ik wil jullie de oplossingen en tips niet onthouden die wij tegen zijn gekomen.
Eerst een aantal feiten op een rij zoals wij ze zijn tegengekomen:
Op server niveau
1. Meeste AC voedingen leveren een tussen de 75% en 85% efficiëntie, dit betekent een verlies van 15 tot 25% van de energie per server
2. Meeste AC voedingen draaien op een 60 procent belasting, dit verlaagt de efficiëntie naar 65% tot 75%
3. Een 10 graden verschil in Interne temperatuur van een server, verlaagd de levensduur van de componenten met 50%.
4. Een Interne AC voeding heeft een MTBF (Mean Time Between Failure) van ongeveer 100 000 uur.
5. De AC en CPU van een server gebruiken samen de meeste power in een server.
Op Datacentrum niveau
1. Energie transport tussen power grid en transformer: 98% efficiëntie
2. UPS: 74 - 94% efficiëntie
3. Power Distribution Unit (PDU) : 98% efficiëntie
4. AC power supply in server: 75% - 85% efficiëntie.
Dit betekent dat tot 63% van de power naar de server verloren gaat.
Tot 40% van het verlies is toe te rekenen aan de interne power supply van de server.
Een aantal eenvoudige oplossingen:
1. Kies een AC voeding met een zeer hoge efficiëntie.
2. Kies een AC voeding die 25% tot 30% meer power levert dan de server nodig heeft, niet meer dan dat!
3. Kies een energie zuinige CPU, kies een CPU op maat naar je benodigheden.
4. Bouw geen onnodige componenten in een server, zoals CDrom drive, floppy disk, drives die niet gebruikt worden, etc.
Een lastigere oplossing, maar zeer interessant om te overwegen is:
1. Vervang de AC voeding met een DC power kaart (93% efficiëntie)
2. Lever de DC voeding aan met een centraal geplaatste AC/DC converter in de rack, ze nemen 2U ruimte in beslag en leveren een veel hogere efficienty plus de MTBF is 250 000 uur in plaats van 100 000 uur.
Voordelen
- 20 tot 40% minder hitte in de servers zelf (interne hitte) en hierdoor een hogere levensduur van server componenten.
- Makkelijker te koelen
- Energie besparing tot 18% per rack
- Hogere MTBF
Nadeel
- Indien centrale AC-DC converter stuk gaat, is het hele rack offline.
Verder bevestigen verschillende bronnen dat hot isle/cold isle niet de beste manier (meer) is om een DC te koelen. warme lucht word uitgeblazen in de hot isle en door het verhoogde energie gebruik van vandaag, moeten deze rijen breder gemaakt worden dan dat ze nu standaard zijn.
Een oplossing is een gesloten installatie, waar koude lucht door de cabinet geblazen word en aan de top van elk rack de inlaat gemonteerd is naar de airco units, zodoende komt er geen warme lucht meer in de DC ruimte en hoeft men ook geen gangen en ongebruikte m2 meer te koelen.
Of dit laaste klopt, gaan wij dieper onderzoeken, wat is jullie mening hierover? hebben jullie nog tips om het stroomverbruik naar beneden te drukken?
Een dergelijk bedrijf dat DataCenters bouwt kan je heel goed adviseren weet ik uit ervaring.
Swiftway-UK
19/01/07, 13:10
Een dergelijk bedrijf dat DataCenters bouwt kan je heel goed adviseren weet ik uit ervaring.
Idd. Maar sommige keuzemogelijkheden zoals CPU gebruik, welk rendement aan voeding gebruikt word en zelfs centraal DC power gebruiken kan al gemaakt worden op rack niveau. Zeker met de huidige stroomprijs en stroombeperkingen per rack kunnen aanbieders van bijvoorbeeld dedicated servers flink besparen door dit goed uit te werken.
WeDare heeft toch hun koele paden overdekt gemaakt? Zodat de koele lucht alleen maar door de racks kunnen? Dat leekt mij wel een hele slimme oplossing. Zo koel je geen onnodige dingen en weet je zeker dat de lucht gaat waar het heen moet.
Swiftway-UK
19/01/07, 14:08
Nu ik er nog eens overdenk, is DC stroom gebruiken ook wel een hele goede marketing voor je dedicated server dienst, immers voor de klant is er een belangrijk voordeel:
Minder kans op defecten in de dedicated server, omdat er minder warmte opgewekt word in de dedicated server zelf.
misschien kunnen datacenters gebruik maken van warmtewissellaars in de grond. op een bepaalde diepte is de temperatuur constant 12 graden ofzo.
In de zomer kan je verkoelen, en in de winter verwarmen.
voorbeeld:
http://www.bovema-sair.nl/nieuws_koelingverwarming.htm
Ik heb hier ook eens over na gedacht en kwam toen ook tot de conclusie dat het niet zo'n gek idee is om zowel de hot als de cold isle af te gaan sluiten en daar separate kanalen van te maken. Je kunt dan extra afzuiging op de hot isle zetten en je hoeft maar een veel kleiner gebied te koelen.
Je spreekt hier over defecten.. echter vooral over Voedingen in dat geval.
Terwijl het eerste onderdeel wat stuk zal gaan in een server toch in 9 v/d 10 gevallen de harde schijf zal zijn, dus dat de voeding langer zal overleven zal weinig uitmaken, wij hebben servers draaien die kouder zijn als koeltorens, maar hd's gaan toch stuk onder belasting...
Ik moet overigens zeggen dat sommige dingen die je noemt erg interresant zijn als je dedicated aanbied, helaas kan je hier met colo geen gebruik van maken :/ (je kunt moeilijk verwachten dat iedereen z'n voeding gaat vervangen)
Swiftway-UK
19/01/07, 14:38
Ik heb hier ook eens over na gedacht en kwam toen ook tot de conclusie dat het niet zo'n gek idee is om zowel de hot als de cold isle af te gaan sluiten en daar separate kanalen van te maken. Je kunt dan extra afzuiging op de hot isle zetten en je hoeft maar een veel kleiner gebied te koelen.
Geen slecht idee inderdaad, maar in zo een hot isle word het dan wel ontzettend warm, misschien te warm om in te werken?
Ook moet je dan ervoor zorgen dat geen warme lucht richting koude straat kan en vica versa, je moet dus geen ruimte in kasten open laten (kun je ook platen voor gebruiken).
Ik vraag me ook af of zo een oplossing mogelijk is onder de strenge brandweervoorschriften.
Ik zie de voordelen, maar ook de mogelijke nadelen en hinderingen van zo een oplossing. Koude lucht blazen door het cabinet en direct boven afvoeren lijkt me dan een beter idee.
Terwijl het eerste onderdeel wat stuk zal gaan in een server toch in 9 v/d 10 gevallen de harde schijf zal zijn, dus dat de voeding langer zal overleven zal weinig uitmaken, wij hebben servers draaien die kouder zijn als koeltorens, maar hd's gaan toch stuk onder belasting...
Zou het toch wat uitmaken in HDD levensduur als de voeding niet in de server zou zitten vraag ik me af? jullie hebben natuurlijk wel een heel specifieke applicatie die flink wat belasting legt op jullie HDD systemen, maar ik vraag me af of de levensduur iets verlengt word door de voeding (en de warmte ervan) niet in de server zelf te bouwen?
Alle beetjes helpen immers. Als je de gemiddelde levensduur met 30 dagen per HDD kan verlengen met zo een oplossing, zou dat veel geld kunnen besparen.
Om eerlijk te zijn denk ik dat het niets uitmaakt remon, de voedingen in 90% van onze servers zitten namelijk niet in de buurt van de harde schijven.
Is het niet mogelijk om het hele isle idee te laten varen en gesloten kasten te gebruiken, die van bovenaf actief koel ingeblazen worden en onderaan hun warmte kwijt kunnen?
Then again, dit zal wel lastig zijn met warmte distributie, onderaan wordt het dan veel warmer, misschien wel te warm? Ik neem aan dat dit al lang tegen de geperforeerde kasten en warme/koude gang is afgezet.
Is het niet mogelijk om het hele isle idee te laten varen en gesloten kasten te gebruiken, die van bovenaf actief koel ingeblazen worden en onderaan hun warmte kwijt kunnen?
Then again, dit zal wel lastig zijn met warmte distributie, onderaan wordt het dan veel warmer, misschien wel te warm? Ik neem aan dat dit al lang tegen de geperforeerde kasten en warme/koude gang is afgezet.
warme lucht stijgt dus ga je tegen de natuurkundige krachten inwerken?
Swiftway-UK
19/01/07, 16:01
Is het niet mogelijk om het hele isle idee te laten varen en gesloten kasten te gebruiken, die van bovenaf actief koel ingeblazen worden en onderaan hun warmte kwijt kunnen?
Zoals ik al aangaf, is het idee om voortaan gesloten kasten te gebruiken, van ONDER koele lucht erdoorheen te blazen en van BOVEN direct de warme lucht naar de airco te voeren.
Ik denk dat er alleen een goede manier gevonden moet worden om die koele lucht ook van onder naar voren te blazen, zodat servers de koele lucht ook aan kunnen zuigen, maar eventueel kan dit door de servers wat dieper in het rack te plaatsen.
Hoe je het ook doet, het een werkt wellicht makkelijker dan het ander, het probleem blijft dat op het afvoerpunt de lucht het heetste zal zijn aangezien alle servers steeds een beetje aan de warmtetoevoer bijdragen.
Je krijgt dan vreemde situaties: Ik zou niet graag vlak aan het afvoerpunt mijn servertje hebben hangen, doe mij maar een plekje bij de koude aanvoer.
Je krijgt dan vreemde situaties: Ik zou niet graag vlak aan het afvoerpunt mijn servertje hebben hangen, doe mij maar een plekje bij de koude aanvoer.
Met het warme / koude gang principe heb je hier dus geen last van....
Zowieso, ditgene wat jij omschrijft kan nooit gaan werken, als er namelijk 1 'warme' server boven de koude lucht invoer hangt, dan is de complete lucht in het rack verziekt.
Swiftway-UK
19/01/07, 16:34
Met het warme / koude gang principe heb je hier dus geen last van....
Zowieso, ditgene wat jij omschrijft kan nooit gaan werken, als er namelijk 1 'warme' server boven de koude lucht invoer hangt, dan is de complete lucht in het rack verziekt.
Het zou alleen werken lijkt me met halfdiepe servers (zoals Supermico 512) in 1 meter diepe kasten, dat zou wel goed gaan lijkt me. Alleen zinvol dus als je controle hebt over het type server dat erin gaat.
Combineer dat met het DC power idee en je hebt zowieso tot 40% minder warme lucht af te voeren in je kast.
kan je niet met een soort "condooms" werken? Aan de voorkant bevestig je iets waar de fans de koele lucht vandaan kunnen trekken en dan door de server via de achterkant ook weer weg met een gesloten systeem naar de afvoer?
flow:
-->-->-->-->-->-->-->-->-->
koud__c___server___c___warm
------<==========>--------
c = condoom
Hoe efficient is waterkoeling voor rackservers atm? Wat kost het om water te koelen?
kan je niet met een soort "condooms" werken? Aan de voorkant bevestig je iets waar de fans de koele lucht vandaan kunnen trekken en dan door de server via de achterkant ook weer weg met een gesloten systeem naar de afvoer?
flow:
-->-->-->-->-->-->-->-->-->
koud__c___server___c___warm
------<==========>--------
c = condoom
Hoe efficient is waterkoeling voor rackservers atm? Wat kost het om water te koelen?De servercondoom, geniale uitvinding! :)
MediaServe
19/01/07, 20:12
Zoals ik al aangaf, is het idee om voortaan gesloten kasten te gebruiken, van ONDER koele lucht erdoorheen te blazen en van BOVEN direct de warme lucht naar de airco te voeren.
Dat gaat in de praktijk nooit werken aangezien er boven in een rack dan geen (niet genoeg) koude lucht meer zal komen. Bovendien zuigt de server aan de VOORKANT de koude lucht op, niet aan de onderkant, dus zal de server niet genoeg koude lucht kunnen opzuigen.
Ik denk dat de koude en warme paden het beste werken, met geperforeerde racks. En dan goed ervoor zorgen dat de warme lucht die de servers aan de achterkant uitblazen niet gemengd wordt met de koude lucht van de airoconditioning. Dus de voorkant van de racks moet je dicht maken met blind plates en de warme paden wellicht afsluiten met deuren.
waarom wordt zulke warmte niet gebruikt voor stadsverwarming. Menig tuinbouwer kan hierover mee praten..
De afgezogen warmte zou, als je een beetje creatief werkt, gebruikt kunnen worden voor het opwekken van nieuwe energie.
Swiftway: als de hot isle heel warm wordt, is het dan echt een probleem dat het lastig is om erin te werken? In principe zou je daar geen rekening mee hoeven te houden, mijns inziens. Het is enkel een kwestie van eenmalig servers ophangen en bevestigen, verder hoef je alleen aan de voorkant (cold isle) van de servers te zijn.
Overigens kan afgesloten racks wel werken, maar dan moet je de koude lucht aan de voorkant van de servers naar binnen pompen, en niet (zoals jij zei) achter de Supermicro 512's langs. Daar hoeft geen lucht ingepompt te worden. Je moet gewoon zorgen dat de lucht daar niet terug naar voren kan. Het wordt daar inderdaad aardig warm dan, en die lucht gaat daardoor vanzelf stijgen. En het feit dat het daarachter warm is, is geen probleem, die lucht gaat immers niet meer terug de server in.
Je kunt zelfs halverwege het rack enkele fans plaatsen die de warme lucht omhoog blazen om dit proces enigszins te versnellen. Daarnaast kun je met een pijp halverwege het rack aan de voorkant weer extra koude lucht erin blazen.
Swiftway-UK
21/01/07, 16:40
Het is toch ook wel prettiger om die warme lucht wat vlotter naar boven te blazen. Op zich lijkt het me geen probleem als je servers dieper erin hangt:
Cabinet ruimte
Voorkant Achterkant
----SERVER-----
Je laat dus ruimte over voor en achter de server en blaast koele lucht exact voor en achter de servers. Dat zou moeten werken.
Ik denk dat er alleen een goede manier gevonden moet worden om die koele lucht ook van onder naar voren te blazen, zodat servers de koele lucht ook aan kunnen zuigen, maar eventueel kan dit door de servers wat dieper in het rack te plaatsen.
Sinds meer dan 5 jaar is de koeling van servers "van voor naar achter" (horizontaal). Vertikale koeling had je daarvoor, maar dat was niet meer te hanteren met de hoge serverdichtheid en warmteontwikkeling.
In een modern concept staat het scheiden van de koude en zones in een DC voorop. APC heeft met hun geintegreerde en modulaire "InfraStruXure (http://www.apc.com/products/infrastruxure/index.cfm)" racks al wat innovatieprijzen gewonnen. Het principe is de warme "uitlaat" lucht op te vangen in de afgesloten gang tussen de twee rijen racks en van daaruit direct te koelen en weer "naar buiten" te brengen. Voor losse racks wordt de lucht van achter het rack afgevangen en afgevoerd (naar boven het plafond b.v.)
Voor wat betreft DC voeding voor servers; dat is natuurlijk de meest efficiente oplossing, maar omdat het "afwijkende" eisen stelt aan de apparatuur, m.i. moeilijk toepasbaar bij colocatie. Hoewel de klant er bij aanschaf van een nieuwe server rekening mee kan houden, zijn conversies van oude servers (te) duur en is overstappen naar andere providers daarna niet (eenvoudig) mogelijk. Hoewel een leuke klantenbinding, wellicht niet aantrekkelijk voor een kritische klant...
George/
P.S. Ja, ik leef nog :D
Swiftway-UK
21/01/07, 17:04
Sinds meer dan 5 jaar is de koeling van servers "van voor naar achter" (horizontaal). Vertikale koeling had je daarvoor, maar dat was niet meer te hanteren met de hoge serverdichtheid en warmteontwikkeling.
Inmiddels word die strategie overnieuw bekeken, maar dan met directe afzuiging aangesloten op bovenkant racks, diepere racks en minder diepe servers, zodat je zowel voor als achter ruimte overhoud om koele lucht door de kast te blazen.
In een modern concept staat het scheiden van de koude en zones in een DC voorop. APC heeft met hun geintegreerde en modulaire "InfraStruXure (http://www.apc.com/products/infrastruxure/index.cfm)" racks
Wij hebben zulke racks in gebruik in onze kleine datarooms, erg mooi maar voor grote deployment (meerdere 100m2) voor de dedicated server / colo markt nog te duur.
Voor wat betreft DC voeding voor servers; dat is natuurlijk de meest efficiente oplossing, maar omdat het "afwijkende" eisen stelt aan de apparatuur, m.i. moeilijk toepasbaar bij colocatie. Hoewel de klant er bij aanschaf van een nieuwe server rekening mee kan houden, zijn conversies van oude servers (te) duur en is overstappen naar andere providers daarna niet (eenvoudig) mogelijk.
Ik ga ook meer uit van de dedicated server provider situatie. Voor colo klanten kun je tussenoplossingen zoeken echter, de provider zou bijvoorbeeld een chassis en voeding kunnen aanleveren op huurbasis, klant plaatst daarin eigen hardware, niet de meest ideale oplossing maar:
- Het verhoogt levensduur van de hardware en maakt de kans op hardware failures dus kleiner.
- 40% minder warmte ontwikkeling in je cabinet, dat is mooi meegenomen!
- 10% stroombesparing, dus lagere variabele kosten.
Ik weet niet hoe hoog jullie servers zijn, maar die van ons laten we altijd fabriceren met redundante voedingen. De kans op defecten is daardoor al lager. Dat doet natuurlijk verder niets af aan de warmteontwikkeling.
Inmiddels word die strategie opnieuw bekeken, maar dan met directe afzuiging aangesloten op bovenkant racks, diepere racks en minder diepe servers, zodat je zowel voor als achter ruimte overhoud om koele lucht door de kast te blazen.
Dat klinkt goed, maar is inefficient. Als je koude lucht achter in de server kast blaast, zal die meteen mengen met de warme lucht. Zeker als je afgesloten kasten gaat gebruiken, zullen hogere of lagere servers (afhankelijk waarvandaan je blaast) warmer worden en waarschijnlijk hun lucht niet kwijt kunnen.
Het is ook inefficient omdat je aan de "uitlaat" van de kast minder warme lucht hebt door de vermenging, waardoor de koelinstallatie minder efficient zal werken (die werkt het efficients bij hogere ingangstemperaturen).
In denk dat je niet moet proberen om het toch met enige zorgvuldigheid uitgedachte concept van horizontale koeling te "verbeteren" door door kasten af te sluiten en er lucht in te blazen (dat was volgens mij het punt waarop we 6 jaar terug aangeland waren en wat niet langer haalbaar bleek). Ik denk dat je je daarmee alleen maar meer problemen op de hals haalt.
In de Computable stond een tijd terug een stukje, heb het voor je opgezocht: Koeling computercentra onderschat (http://www2.computable.nl/artikels/archief5/d35hb5ox.htm)
Het concept van hot en cold "isles" (gangen) is in een groot DC prima te implementeren en vereist "alleen wat extra timmerwerk". Het zorgt voor koude inlaat lucht, gebruikt standaard "open" racks, en verhoogt de efficientie van de koelapparatuur. Niet slecht dacht ik.
George/
P.S. Het is dan wel een vereiste om niet gebruikte HE's te voorzien van blindplaten, en niet zoals nu vaak gebruikelijk, deze maar open te laten.
APC heeft overigens ook een oplossing om de koude lucht geforceerd aan de voorkant te laten uitkomen. Ik weet zo even niet hoe het heet, maar dit 'apparaat' plaats je onder in het rek.
Vwb de prijs van APC, ze kunnen erg scherp zijn, zeker met grotere aantallen.
Ik heb een tijd geleden een offerte opgevraagd voor een volledig ingerichte ruimte van 5000 sq feet (zo'n 500 m2) bij APC, en die offerte was alles behalve scherp. Om het maar plat te zeggen, was het reteduur in vergelijking met de opties om de zaken zelf te bouwen, en ook een stuk duurder dan offertes van andere bedrijven die gehele datasuites kant-en-klaar opleveren.
Dat was overigens wel in de VS, maar ik kan me niet voorstellen dat die prijzen hier anders zijn op dat gebied.
Swiftway-UK
23/01/07, 12:25
Ik heb een tijd geleden een offerte opgevraagd voor een volledig ingerichte ruimte van 5000 sq feet (zo'n 500 m2) bij APC, en die offerte was alles behalve scherp.
Klopt helemaal, als je 3KVA per rack wilt kunnen trekken betaal je bij APC ~ 12000 dollar per rack, dat is ruim 3 keer duurder dan zelf bouwen.