PDA

Bekijk Volledige Versie : Google Data Centers 'The Most Efficient In The World'



Domenico
06/10/08, 12:28
Hieronder een stukje van idg.net vertaald door webwereld. ;)


Google beweert de meeste efficiente datacentra van de wereld te bezitten. Een nieuwe 'groen' energierapport geeft tips om het succes te evenaren.

Google staat erom bekend dat het zijn datacentra zelf ontwerpt, inclusief het besturingssysteem en de servers. In een blogpost (http://www.google.com/corporate/datacenters/) claimt Urs Hölzle, operationeel directeur van Google, dat zijn servers de "meest efficiënte ter wereld" zijn.

De firma heeft nooit veel informatie vrijgegeven over de aanpassingen die het aan standaard hard- en software heeft gemaakt. Met de publicatie wil het voorbeelden geven van manieren waarop datacentra zuiniger en goedkoper kunnen draaien.
Andere bedrijven kunnen niet alle trucs van Google overnemen. Zo zal niet iedereen in staat zijn om zijn eigen servers te ontwerpen. Maar wie bereid is om te investeren, kan profiteren van een aantal tips en trucs van Google.

Betere servers ontwerpen
Google verwijdert alle overbodige componenten van zijn servers zoals grafische kaarten, en vervangt de voeding en voltageregelingen op de moederborden door efficiëntere exemplaren. Daarbij worden zijn de racks zo ontworpen dat warmte op een natuurlijke manier wordt afgevoerd, zodat zo min mogelijk ventilatoren nodig zijn.
Op deze manier bespaart (http://www.google.com/corporate/datacenters/step1.html) Google één derde van het stroomverbruik. Op jaarbasis komt dat neer op zo'n 500 killowattuur per server en een redactie in de koolstofdioxide-uitstoot van 300 kilo.

Koeling door waterdamp
Google besteedde ook veel aandacht aan koeling bij zijn datacentra, wat tot aan 70 procent van het stroomverbruik voor zijn rekening kan nemen. De firma gebruikt verdampend water (http://www.google.com/corporate/datacenters/step2.html) om het gebruik van koelapparatuur te minimaliseren. Met 'cooling towers' draaien de datacentra van Google het grootste gedeelte van de tijd in een modus die 'free cooling' heet. Hierbij staan de koelelementen, de chillers, niet aan. "Technisch gezien is free cooling niet gratis, maar het is helemaal niet duur en ontzettend efficiënt", aldus Hölzle.

Hergebruik van water
In plaats van leidingwater, gebruikt Google bovendien hergebruikt water om de temperatuur van componenten te reguleren. Op deze manier wordt het milieu nog verder ontlast. In 2010 hoopt Google dat 80 procent van zijn waterverbruik uit gerecycled water bestaat.

"Duurzame energie is goed voor het milieu, maar het is ook goed voor je bedrijf", aldus Google. "Een groot deel van ons werk is gericht op het besparen van bronnen zoals elektriciteit en water, we merken steeds vaker dat onze acties leiden tot een kostenreductie".

Power Usage Effectiveness
De efficiëntie van rekencentra wordt uitgedruk in Power Usage Effectiveness (PUE). Bij een PUE van 1 wordt er geen energie gebruikt voor de koeling. Een PUE van 2 geeft aan dat voor elke eenheid energie die wordt gebruikt evenveel energie nodig voor de koeling en stroomdistributie.

PUE van 2,0 is standaard
In 2006 schatte het Environmental Protection Agency (EPA) in dat een standaard datacentrum een PUE had van 2,0 of hoger. Bovendien voorspelde het EPA dat de meest geavanceerde datacentra in 2011 op een PUE van 1,2 uit zouden komen. Google heeft nu bekend gemaakt dat al zijn datacentra nu al draaien met een PUE van 1,2 en dat één datacentrum zelfs al op een PUE van 1,13 zit. Hölzle is er dan ook van overtuigd dat de firma over de meest efficiënte datacentra ter wereld beschikt.

Microsoft liet onlangs weten dat zijn nieuwe datacentrum in een zeecontainer (http://webwereld.nl/articles/52405/microsoft-voert-datacentra-aan-per-vrachtwagen.html) een PUE van 1,3 haalt. Doordat de servers in een afgesloten ruimte staan, zijn deze eenvoudiger te koelen. De container-servers worden nog niet veel gebruikt, maar Microsoft wil een nieuwe rekencentrum in Chicago uitrusten met 200 datacentrum-containers.

Misschien een bron van inspiratie voor Nederlandse datacentrums en andere bedrijven of is dit gewoon niet haalbaar voor de meeste bedrijven hier?

Ahmed
06/10/08, 13:07
Dat ligt eraan of je hierin wilt investeren..
Het is een flinke investering, maar met de steeds stijgende stroomprijzen denk ik dat je je investering terugverdiend.

Mike P.
26/10/08, 14:54
Dat ligt eraan of je hierin wilt investeren..
Het is een flinke investering, maar met de steeds stijgende stroomprijzen denk ik dat je je investering terugverdiend.
Ik denk dat het enige tijd zal duren voordat je de kosten eruit hebt, maar aangezien datacentra zo ongelofelijk veel stroom verbruiken, zal dit niet vreselijk lang zijn, denk ik zo.

J.Haagmans
27/10/08, 19:29
Met de verwachte stijgingen in energieprijzen zou ik zeggen dat bedrijven die een nieuw eigen serverpark ontwerpen hier nu al veel aandacht aan zouden moeten besteden. Niet alleen ben je "groen" bezig, de technologie bestaat al, het werkt en het gaat je op den duur erg veel geld schelen.

Triloxigen
27/10/08, 19:31
Maar met het stijgen van de energie prijzen stijgen vaak ook de grondstof prijzen en zal uiteindelijk de investering ook hoger uitkomen.
De vraag is alleen, wat stijgt harder..

J.Haagmans
28/10/08, 17:53
Maar met het stijgen van de energie prijzen stijgen vaak ook de grondstof prijzen en zal uiteindelijk de investering ook hoger uitkomen.
De vraag is alleen, wat stijgt harder..
Er komt een omslagpunt waar het gebruik van grondstoffen voor energieopwekking zeer onaantrekkelijk wordt gemaakt omdat te grote tekorten voorzien worden. Die verhouding is al niet 1 op 1 op dit moment. Nu in de groene technologie stappen is naar mijn mening de beste keuze die je kunt maken. Als je op de markt moet wachten zul je met al je collega's eerst nog een flinke bult over moeten en die bult gaat erg veel geld kosten.

Ik heb het hier niet over individuele webhosters, maar over datacentra. Dit soort projecten kun je niet op enkele servers toepassen, dat moet op tonnen apparatuur tegelijk worden toegepast.

Maar waar Google goed over nagedacht heeft: niet alleen milieuvriendelijke en efficiënte koelingsmethoden toepassen, maar ook blijven investeren in efficiëntere apparatuur..

failure
12/06/09, 14:14
nice one

Apoc
12/06/09, 14:27
Persoonlijk ben ik nog steeds van mening dat bedrijven als Google waterkoeling zouden moeten toepassen in plaats van luchtkoeling. Simpelweg een wateraansluiting aan de achterkant van de server, waardoor de warmte van de server direct wordt afgevoerd naar de chillers.

Momenteel wordt hetzelfde gedaan, maar wordt de warmte eerst door de lucht getransporteerd voordat bij de airco's de warmte wordt afgegeven aan water en vervolgens naar de chillers wordt afgevoerd.

Op deze manier heb je dus geen airco's nodig, en ook geen ventilatoren (wat toch ook aardig wat stroom scheelt).

Uiteraard kost zoiets natuurlijk meer om te produceren, maar ik ben er van overtuigd dat als je het op grote schaal kunt toepassen, de kosten van de implementatie veel lager zullen zijn dan de stroombesparing die het oplevert.

Serveo
12/06/09, 14:32
Persoonlijk ben ik nog steeds van mening dat bedrijven als Google waterkoeling zouden moeten toepassen in plaats van luchtkoeling. Simpelweg een wateraansluiting aan de achterkant van de server, waardoor de warmte van de server direct wordt afgevoerd naar de chillers.

Momenteel wordt hetzelfde gedaan, maar wordt de warmte eerst door de lucht getransporteerd voordat bij de airco's de warmte wordt afgegeven aan water en vervolgens naar de chillers wordt afgevoerd.

Op deze manier heb je dus geen airco's nodig, en ook geen ventilatoren (wat toch ook aardig wat stroom scheelt).

Uiteraard kost zoiets natuurlijk meer om te produceren, maar ik ben er van overtuigd dat als je het op grote schaal kunt toepassen, de kosten van de implementatie veel lager zullen zijn dan de stroombesparing die het oplevert.

Theoretisch haalbaar natuurlijk, maar dit zal alleen maar gaan werken wanneer er een markt brede standaard voor komt.

Apoc
12/06/09, 14:48
Theoretisch haalbaar natuurlijk, maar dit zal alleen maar gaan werken wanneer er een markt brede standaard voor komt.

Daarom noemde ik ook specifiek Google, aangezien zij zelf hun servers ontwerpen en dus ook hun eigen standaard kunnen voeren.

In een commercieel datacentrum (e.g. colocatie) is zoiets niet of nauwelijks haalbaar (of misschien zou het een optie kunnen worden als juist bedrijven als Google hier iets mee gaan doen).

MMaI
12/06/09, 15:05
het grote nadeel van waterkoeling is nog steeds de erosie vna verschillende componenenten, en het feit dat er nog steeds luchtkoeling nodig is om additionele componenten (voltage-regeleaar etc) te koelen.

Een gedeelte hiervan kan opgelost worden door gebruik te maken van titanium koelblokken waarbij het nadeel natuurlijk de kosten zijn. Verder heb je bij waterkoeling extra kosten voor de waterbeheersing (wat doe je als iemand een leiding stuktrekt of er een koelblok gaat lekken) en moet je rekening houden met de externe koeling van het water, een circulatiepomp en het regelmatig vervangen van het water.

De gebruikt emethode van google met caseless servers en high-efficiency voedingen is daarom op dit moment de meest praktische oplossing voor een groot datacentrum en ik durf hierbij (zonder concrete gegevens) te beweren dat dit energie zuiniger is dan waterkoeling.

Als je echt efficiente koeling etc wil zien, kijk dan eens naar het datacentrum in Stockholm, in ene ondergronds bunker.

YouTube - Episode 11 - White Mountain, Fit For A James Bond Villain!

AlexAuto
12/06/09, 15:35
Maar waar Google goed over nagedacht heeft: niet alleen milieuvriendelijke en efficiënte koelingsmethoden toepassen, maar ook blijven investeren in efficiëntere apparatuur..

Alhoewel het niet over individuele webhosters ging, zit ik als 'individu' wel te wachten op zulke apparatuur. Als Google nu van die energie-zuinige servers op de markt bracht... Ik zit eigenlijk met smart te wachten op betaalbare (low-budget) servers met zuinige procs (geen Atoms of Celerons). Dan kan ik eindelijk de 90W-verstokende P4's vervangen door echt energiezuinige en krachtige apparatuur. Niet alleen goed voor mìjn portemonnee, maar ook die van de reseller èn datacenter.

Apoc
12/06/09, 15:39
het grote nadeel van waterkoeling is nog steeds de erosie vna verschillende componenenten, en het feit dat er nog steeds luchtkoeling nodig is om additionele componenten (voltage-regeleaar etc) te koelen.

Erosie treedt op door condensatie. Dit kun je voorkomen door de buitenzijde van de leidingen licht te verwarmen (hetgeen gedaan kan worden met de warmte van de server zelf). Vergelijk het met een autoruit; condensatie treedt enkel op wanneer de ruit koud is. Het is reeds bewezen dat op deze manier erosie volledig kan worden voorkomen.


Verder heb je bij waterkoeling extra kosten voor de waterbeheersing (wat doe je als iemand een leiding stuktrekt of er een koelblok gaat lekken) en moet je rekening houden met de externe koeling van het water, een circulatiepomp en het regelmatig vervangen van het water.

Al deze potentiele problemen heb je bij een reguliere opstelling ook, want van de Airco units wordt de warmte ook via waterleidingen naar de chillers getransporteerd. Je hebt dus geen extra kosten voor externe koeling van het water, circulatiepomp en het vervangen van het water.

Een leiding stuktrekken valt te voorkomen. Een lekkend koelblok is niet volledig uit te sluiten, maar het risico hiervan is niet groter dan het risico van het uitvallen van de fans. Daarnaast zou binnen de server een niet-geleidende vloeistof gebruikt kunnen worden (in plaats van water), zodat er bij lekkage geen kortsluiting plaatsvindt. Dit hoeft uiteraard niet in het hele systeem gedaan te worden maar uitsluitend binnen de server (deze vloeistof kan de warmte aan de achterzijde van de server overdragen aan het water).


De gebruikt emethode van google met caseless servers en high-efficiency voedingen is daarom op dit moment de meest praktische oplossing voor een groot datacentrum en ik durf hierbij (zonder concrete gegevens) te beweren dat dit energie zuiniger is dan waterkoeling.

Energie zuiniger dan waterkoeling? Je hoeft geen concrete gegevens te laten zien, maar beargumenteer dat eens. Ik kan geen argument bedenken waarom luchtkoeling energie zuiniger zou werken dan waterkoeling. Uiteraard is de implementatie van waterkoeling duurder, maar dat staat los van het feit of het al dan niet energie-zuiniger is.

Het is heel simpel te beargumenteren waarom waterkoeling zuiniger is:

Huidige opstelling:
1. Warmteproductie binnen server
2. Afvoer van warmte naar achterzijde server d.m.v. fans (= stroomverbruik)
3. Afvoer van warme lucht naar airco's (waar niets meer gedaan wordt dan het uitwissel van de warmte tussen de lucht en water).
4. Koude lucht wordt d.m.v. pompen de ruimte weer in geblazen (kost ook stroom)
4. Afvoer van warm water naar de chillers

In een opstelling met uitsluitend waterkoeling:

1. Warmte wordt direct opgenomen door het water
2. Warm water wordt afgevoerd naar chillers, waar het vervolgens gekoeld wordt

Kortweg: ook in de huidige situatie wordt water gebruikt voor warmtetransport, maar eerst moet de warmte uit de server geblazen worden, naar de airco units getransporteerd worden door de lucht, en DAN wordt de warmte overgezet naar water. Bij de nieuwe opstelling wordt het gehele proces waarbij warmte door de lucht wordt getransporteerd, overgeslagen. Dit kost, hoe je het ook wendt of keert, minder stroom.

gjtje
12/06/09, 15:44
Ze kunnen al beginnen alles op DC aan te sluiten i.p.v. AC.

Jorem
12/06/09, 17:16
Zou je niet een frame/box kunnen maken waar je moederbord en schijven in kan schroeven en dat je die verticaal naast elkaar kan plaatsen per 8 of 10. Boven en onderkant dus volledig open. Dan is de warme lucht veel sneller af te voeren als liggend lijkt me.
Uit de vloer in het datacentrum komt al aardig wat koeling die dan meteen door de server blaast, maar is niet genoeg om te koelen.
En 1 hele grote fan (of 2 in RAID1 ;), of 4 kleinere ) eronder die langzaam kunnen draaien maar dus veel lucht verplaatsen.

Zal je soort systeem moeten maken zodat 2e of derde laag erboven ook koude lucht krijgt. Maar daar moet toch wel iets op te verzinnen zijn :). Buizen systeem?

Groeten MacGyver ;)

edit: in een server plaatsen ze alles zo dat de lucht er zo makkelijk mogelijk langs kan. In het rack plaatsen ze servers horizontaal wat volledig de luchtstroom van het rack blokkeerd.
Koude lucht wordt er aan de voorkant ingezogen, om er aan de achterkant weer uitgeperst te worden. Moet toch soepeler kunnen :).

MMaI
12/06/09, 17:35
Ze kunnen al beginnen alles op DC aan te sluiten i.p.v. AC.

en daardoor het stroomverlies op te laten lopen met 50%, de reden dat we AC gebruiken is het probleem met weerstand volgens R = (l * rho) / A. BIj een lengte van tientallen/honderden meters zorgt dit voor enorme stroomverliezen door omzetting in warmte.


Reactie bovenstaand
Vloeistoffen die niet elektrisch geleidend zijn hebben helaas de eigenschap dat ze ook erg slecht warmte geleiden (meestal) of een dusdanige dichtheid hebben dat er een hele sterke pomp nodig is.

Volgens mij mis je aardig wat factorne bij het berekenen van het stroomverbruik van je waterkoeling namelijk:

1. Luchtkoeling voor warmte producerende componenetne zoals spanningsregelaar en hdd
2. Circulatiepomp om vloeistof af en aan te voeren
3. Water wordt in de chillers afgekoeld
4. aparte circulatiepomp voor toevoer naar servers.
5. Koeling voor warme lucht in DC door onder andere pompen, elektromotoren (circulatie) produceren ook warmte

verder vindt er binnen een waterkoelingblok erosie plaats zodra er lucht in komt, dit hoeft maar een klein beetje te zijn, dus houdt ook rekening met een filtratiesysteem icm compressor om georodeerd materiaal te filteren, en luchtbellen uit het water te houden.

uiteindelijk zijn je stroomkosten dus vergelijkbaar, terwijl je aanschaf en implementatie veel hoger is.

Dit is ook gelijk de reden dat waterkoeling nooit als elektriciteit besparing wordt gebruikt, maar vrijwel altijd om overclock temperaturen in de hand te houdne waar luchtkoeling alleen niet meer toereikend is.

Rik
12/06/09, 21:37
Het toverwoord bij de genoemde 'waterdamp' is 'Fog' :)

Koele droge mist die dus geen erosie veroorzaakt en zelfs de statisch geladen lucht neutraliseert...

Apoc
13/06/09, 17:17
Vloeistoffen die niet elektrisch geleidend zijn hebben helaas de eigenschap dat ze ook erg slecht warmte geleiden (meestal) of een dusdanige dichtheid hebben dat er een hele sterke pomp nodig is.

Inderdaad, meestal, niet altijd. Er bestaan vloeistoffen die deze eigenschappen wel hebben. Ik zeg ook niet dat het goedkoop is t.o.v. het gebruik van water, maar je hebt ook geen gigantische hoeveelheden nodig.


1. Luchtkoeling voor warmte producerende componenetne zoals spanningsregelaar en hdd

Dit kan ook d.m.v. waterkoeling gedaan worden. Juist HDD's zijn zeer goed met water te koelen, ivm het relatief grote oppervlak ervan. Overigens, in dit geval heb ik het dus wel over het gebruik van een niet-electrisch geleidende vloeistof binnen de server, dus niet echt water.


2. Circulatiepomp om vloeistof af en aan te voeren

Een klein pompje in iedere server gebruikt zeer weinig stroom, veel minder dan ventilatoren.


3. Water wordt in de chillers afgekoeld

Dit heb je met een normale luchtkoeling opstelling ook. Dit is bij een waterkoeling opstelling niet duurder.


4. aparte circulatiepomp voor toevoer naar servers.

Hier heb je geen extra pomp voor nodig. Je hebt normaliter een pomp voor toe- en afvoor van/naar de Airco units. In dit geval wordt het water niet naar Airco units gepompt maar direct naar de servers. Qua pompkracht maakt dat geen verschil.


5. Koeling voor warme lucht in DC door onder andere pompen, elektromotoren (circulatie) produceren ook warmte

Klopt, maar dat heb je met een normale luchtkoeling opstelling ook. De ruimte waarin deze apparaten zich bevinden staan meestal direct in contact met de buitenlucht dmv een aantal grote roosters met grote ventilatoren. Of je nu lucht- of waterkoeling gebruikt maakt geen verschil.


verder vindt er binnen een waterkoelingblok erosie plaats zodra er lucht in komt, dit hoeft maar een klein beetje te zijn, dus houdt ook rekening met een filtratiesysteem icm compressor om georodeerd materiaal te filteren, en luchtbellen uit het water te houden.

Ook dit heb je bij een normale luchtkoeling opstelling, aangezien dit ook kan gebeuren in de waterleidingen waarin het water tussen de A/C units en de chillers getransporteerd wordt.


uiteindelijk zijn je stroomkosten dus vergelijkbaar, terwijl je aanschaf en implementatie veel hoger is.

Nee, totaal niet. Het punt is dat het grootste gedeelte van de kosten die je hebt bij waterkoeling, ook al hebt met luchtkoeling (omdat bij luchtkoeling ook waterkoeling toegepast wordt, alleen niet direct op de servers). Echter bij waterkoeling vallen een aantal van die kosten weg. Ik zeg ook niet dat ALLE kosten wegvallen, dat is onmogelijk.


Dit is ook gelijk de reden dat waterkoeling nooit als elektriciteit besparing wordt gebruikt, maar vrijwel altijd om overclock temperaturen in de hand te houdne waar luchtkoeling alleen niet meer toereikend is.

Het feit dat dit de "reguliere" toepassing is, tot nu toe, betekent niet dat er niet innovatief nagedacht kan worden over de toepassing met als doel stroombesparing.

sander
15/06/09, 13:04
olie cooling!!!

http://www.youtube.com/watch?v=PtufuXLvOok&eurl=http%3A%2F%2Fwww%2Epctuts%2Ebe%2Fshowthread%2 Ephp%3Ft%3D22854&feature=player_embedded

Apoc
15/06/09, 14:38
Hehe dat is dan weer niet echt geschikt voor een datacentrum, al moet ik toegeven dat een datacentrum vol met aquaria er leuk uit zou zien