Onderwerp: Hoe vangt een DC een stroompiek op?

Zojuist zat ik te denken of het een logische zet is om onze storage unit (welke een aantal VM's voorziet van storage) te voorzien van 2 relatief kleine UPS'en om een stroom onderbreking op beide feeds op te vangen en de storage unit in iedergeval netjes te laten shutdownen om disk problemen te voorkomen. (ik heb nog geen standpunt ingenomen, dus jullie mening is ook welkom :P)

Daarna zat ik te bedenken, mijn storage unit gebruikt nu zo'n 650 watt aan stroom, gemiddeld 325watt per feed. Als de A feed wegvalt dan zal de unit per direct stroom trekken uit de B feed, die 650watt komt dan ineens alleen van feed B (Niet helemaal waar want je voeding wordt efficienter benut, aan de andere kant draaien de fans harder welke meer stroom verbruiken)

Maargoed, dat is dus 1 storage device, ook alle andere servers zullen hun stroom uit de B feed gaan trekken.

Voor een DC betekent dat mijn inziens dat de B feed ineens het dubbele aantal amps gaat gebruiken (er vanuitgaande dat alle servers een A en B feed gebruiken). Hoe vangen ze zo'n enorme piek op? Wat is de techniek daar achter?

Zolang je eigen rack zekering niet klapt omdat je te veel over de zekering gaat kan het gewoon. Zelfs met 32 ampère verbruik.


Verzonden vanaf mijn iPhone met behulp van webhostingtalk

Oorspronkelijk geplaatst door Boskoop

Zojuist zat ik te denken of het een logische zet is om onze storage unit (welke een aantal VM's voorziet van storage) te voorzien van 2 relatief kleine UPS'en om een stroom onderbreking op beide feeds op te vangen en de storage unit in iedergeval netjes te laten shutdownen om disk problemen te voorkomen. (ik heb nog geen standpunt ingenomen, dus jullie mening is ook welkom :P)

Daarna zat ik te bedenken, mijn storage unit gebruikt nu zo'n 650 watt aan stroom, gemiddeld 325watt per feed. Als de A feed wegvalt dan zal de unit per direct stroom trekken uit de B feed, die 650watt komt dan ineens alleen van feed B (Niet helemaal waar want je voeding wordt efficienter benut, aan de andere kant draaien de fans harder welke meer stroom verbruiken)

Maargoed, dat is dus 1 storage device, ook alle andere servers zullen hun stroom uit de B feed gaan trekken.

Voor een DC betekent dat mijn inziens dat de B feed ineens het dubbele aantal amps gaat gebruiken (er vanuitgaande dat alle servers een A en B feed gebruiken). Hoe vangen ze zo'n enorme piek op? Wat is de techniek daar achter?

Mijns inziens moet een DC gewoon de stroomvoorzieningen zodanig geschaald hebben dat de volledige load over één feed geleverd kan worden.
Dat is tenslotte de reden van A- en B feeds, dat er eentje kan uitvallen en alles bediend kan worden over de tweede.

Is dat overigens normaal, om twee voedingen half te gebruiken ? Ik dacht dat redundante voeding zich typisch actief/standby gedroeg, maar ik moet zeggen dat ik hier weinig naar gekeken heb.

Als je de stroom aan het load_balancen_ bent omdat je het benodigde vermogen niet over een enkele feed kunt leveren heb je geen redundante stroom voorziening.

Het DC is normaal geen stroombron, ze moeten alleen voldoende aansluitcapaciteit/(trage) zekeringen e.d. om de load over een enkele feed te kunnen voeden, het leveren van de piek/verschuiving naar een ander koppelstation doet de energieleverancier.

Voldoende grote klanten (en leveranciers) moeten verbruik/levering forecasten, en krijgen een tariefstructuur waarin ongepland pieken bijzonder ongunstig is. Dat is omdat electricteit nauwelijks te bufferen valt. Of een DC groot genoeg om in dat soort regimes te vallen weet ik niet. (hoogovens, procesindustrie, aluminiumsmelters beslist, maar dat is nog een schaal boven een DC ).
Of het voor de energieleverancier veel uitmaakt als in een DC van feeds omgeschakeld wordt weet ik zo niet; Ook al zijn de feeds misschien vanuit twee koppelstations aangeleverd, het blijft een netwerk van dezelfde netbeheerder waarin dan alleen intern een constante load verschuift .

Er zijn genoeg servers met redundant power supplies die de power loadbalancen. (Volgens mij doen die dells 29xx dat ook).
En dat lijkt me ook wel ergens logisch aangezien je dan minder 'slijtage' hebt. Electronica slijt tenslotte vrijwel alleen door warmte en bij load balancing heb je minder warmte die afgevoerd moet worden (per voeding) terwijl je toch voor beide een fan hebt.

Ik denk dat een ups een beetje overkill is bij een goed dc, maar als je op zeker wilt spelen is 1 ups per 2 voedingen voldoende. 1 powerkabel van de server sluit je dan op de ups aan en 1 direct op de feed uit het rack. Dat bespaart je 1 ups en je hebt toch bescherming tegen uitvallen van de a/b feed én uitvallen van de ups. Je boeltje moet sowieso wel op 1 voeding kunnen draaien, anders hoef je je de moeite niet te doen.

Oorspronkelijk geplaatst door visser

Mijns inziens moet een DC gewoon de stroomvoorzieningen zodanig geschaald hebben dat de volledige load over één feed geleverd kan worden.
Dat is tenslotte de reden van A- en B feeds, dat er eentje kan uitvallen en alles bediend kan worden over de tweede.

Is dat overigens normaal, om twee voedingen half te gebruiken ? Ik dacht dat redundante voeding zich typisch actief/standby gedroeg, maar ik moet zeggen dat ik hier weinig naar gekeken heb.

Als je de stroom aan het load_balancen_ bent omdat je het benodigde vermogen niet over een enkele feed kunt leveren heb je geen redundante stroom voorziening.

Het DC is normaal geen stroombron, ze moeten alleen voldoende aansluitcapaciteit/(trage) zekeringen e.d. om de load over een enkele feed te kunnen voeden, het leveren van de piek/verschuiving naar een ander koppelstation doet de energieleverancier.

Voldoende grote klanten (en leveranciers) moeten verbruik/levering forecasten, en krijgen een tariefstructuur waarin ongepland pieken bijzonder ongunstig is. Dat is omdat electricteit nauwelijks te bufferen valt. Of een DC groot genoeg om in dat soort regimes te vallen weet ik niet. (hoogovens, procesindustrie, aluminiumsmelters beslist, maar dat is nog een schaal boven een DC ).
Of het voor de energieleverancier veel uitmaakt als in een DC van feeds omgeschakeld wordt weet ik zo niet; Ook al zijn de feeds misschien vanuit twee koppelstations aangeleverd, het blijft een netwerk van dezelfde netbeheerder waarin dan alleen intern een constante load verschuift .

Wij hebben 1rack vol met servers hangen, 4*16amp (2xa en 2xb) beschikbaar (we gebruiken nu op A+B samen 22amp) , ik ga er vanuit dat onze load op
A: 11 amp
B: 11 amp
is, maar zeker weten doe ik dit niet omdat we die gegevens niet hebben, mocht A weg vallen dan zal B de volle load van 22amp gaan dragen.

Wat ik dus zeg is dat in dat geval de B feed ineens 11amp meer te verwerken krijgt. in de ruimte waar ik sta, staan ongeveer 80 racks, ik schat dat 50% volledig in gebruik is, en 25% half in gebruik, de andere 25% staat leeg.

Als A wegvalt, en ze het zelfde stroom verbruik hebben als wij dan zullen:
40 racks ineens 11amp extra nodig hebben = 440amp
20 racks ineens 5,5 amp extra nodig hebben = 110amp
____+
550 amp

ineens 550amp extra power nodig hebben lijkt me behoorlijk wat, en dat is alleen voor de ruimte waar wij in zitten ... ik vraag me af hoe dit werkt, dat is ineens een enorme spike

Oorspronkelijk geplaatst door Boskoop

Wij hebben 1rack vol met servers hangen, 4*16amp (2xa en 2xb) beschikbaar (we gebruiken nu op A+B samen 22amp) , ik ga er vanuit dat onze load op
A: 11 amp
B: 11 amp
is, maar zeker weten doe ik dit niet omdat we die gegevens niet hebben, mocht A weg vallen dan zal B de volle load van 22amp gaan dragen.

Wat ik dus zeg is dat in dat geval de B feed ineens 11amp meer te verwerken krijgt. in de ruimte waar ik sta, staan ongeveer 80 racks, ik schat dat 50% volledig in gebruik is, en 25% half in gebruik, de andere 25% staat leeg.

Als A wegvalt, en ze het zelfde stroom verbruik hebben als wij dan zullen:
40 racks ineens 11amp extra nodig hebben = 440amp
20 racks ineens 5,5 amp extra nodig hebben = 110amp
____+
550 amp

ineens 550amp extra power nodig hebben lijkt me behoorlijk wat, en dat is alleen voor de ruimte waar wij in zitten ... ik vraag me af hoe dit werkt, dat is ineens een enorme spike

Wel, dat is maar 12.6 Amp op een (de) 10KV aansluiting :-)

De B feed moet gebouwd zijn om dat vermogen te distribueren, van de rack aansluitingen, zaaldistributie tot en met de aansluiting naar de netbeheerder. Kabels dik genoeg, zekeringen groot genoeg, en bron capaciteit genoeg.
En het is geen spike, het is een het verschuiven van een constante load , van de ene naar de andere feed. Moet gewoon kunnen, daar is die feed voor.

Wat vervelender is, is het *plotseling* aanschakelen van (veel) apparatuur. Een voeding trekt de eerste sinus _erg veel_ stroom als de ingangs elco's zich opladen. Dat kan lastig zijn voor zekeringen. Nu zal dat probleem minder zijn met reeds aangekoppelde voedingen (zelfs standby), maar een cold start van veel racks zul je met beleid moeten doen - dat is _echt_ een spike.
Een nette voeding zal dat limiteren (lees meer met 'power supply inrush current' ) maar toch is die stroom een stuk hoger dan de normale stroom.

Oorspronkelijk geplaatst door systemdeveloper

Er zijn genoeg servers met redundant power supplies die de power loadbalancen. (Volgens mij doen die dells 29xx dat ook).
En dat lijkt me ook wel ergens logisch aangezien je dan minder 'slijtage' hebt. Electronica slijt tenslotte vrijwel alleen door warmte en bij load balancing heb je minder warmte die afgevoerd moet worden (per voeding) terwijl je toch voor beide een fan hebt.

Dat klopt, elektronica slijt vooral van warmte (en nog meer van warmte cycling).
Wat (iig tegenwoordig) mee lijkt te vallen is de PSU efficiëntie grafiek redelijk hoog en vlak loopt vanaf 40% utilization.
Als dat niet het geval is (en een voeding dus een stuk minder efficient is op 40% dan op 80% capaciteit) zou je liever actief/standby werken.

Ik denk dat een ups een beetje overkill is bij een goed dc, maar als je op zeker wilt spelen is 1 ups per 2 voedingen voldoende. 1 powerkabel van de server sluit je dan op de ups aan en 1 direct op de feed uit het rack. Dat bespaart je 1 ups en je hebt toch bescherming tegen uitvallen van de a/b feed én uitvallen van de ups. Je boeltje moet sowieso wel op 1 voeding kunnen draaien, anders hoef je je de moeite niet te doen.

Maar wat wil je van de UPS ? Qua vermogen zul je er geen lange overbrugging van krijgen, en een nette shutdown vereist logica om te beslissen dat A feed down is (die de UPS in gaat), en dat je B-feed down is (die de computer in gaat).
Je moet dan op de computer beslissen (if B-feed is up => ignore powerdown van UPS ). Kan vast, maar het is het soort constructie waarbij ik meer storing verwacht van de constructie dan het mitigeren van echte problemen. Zit je in een DC waar je dit vaak nodig hebt, kun je beter moven.

@visser . Als je in een dc je eigen ups moet aanslepen dan kun je sowieso beter al verhuizen. Maar een ups hoeft helemaal niet direct een shutdown te geven. Ik heb hier thuis een APC waarbij ik gewoon een kwartier de hoofdstroom kan afzetten (als ik aan het knutselen ben aan de elek.) maar zolang die accu's nog juice genoeg hebben blijft mijn zooi gewoon draaien. Het is ook meer bedoeld om korte onderbrekingen op te vangen. Als je direct een shutdown gaat doen, dan heb je aan 2 of 20 upssen ook niks natuurlijk, ja als je ze in serie zet misschien, maar je hebt er ook niks aan als een ups op feed A een shutdown gaat doen terwijl er op feed B niks aan de hand is.

Daar zijn verschillende technieken voor en de meeste zorg zal besteed zijn aan het voorkomen van directe uitval van een A of B feed (door vliegwiel, generator e.d.). Vraag het na bij je datacenter leverancier.

Dat neemt niet weg dat een beetje SAN oplossing vaak met een interne ups oplossing komt om een nette manier van afsluiten te kunnen garanderen (dat hele proces duurt bij onze machines toch ook al zo'n 10 minuten). Als je nu niks hebt is dat wel iets om naar te kijken, zoals aangegeven is 1 UPS dan voldoende en voorkomen van corruptie van je core opslag is wel stap één om een flinke crash te overleven. Host machines zijn vrij snel te repareren mochten ze kaduuk zijn, je hele core storage terugzetten uit een back-up meestal niet...

Het probleem met de gescheiden A en B Feeds in de Nederlandse Datacenters is meervoudig...
Tot aan de beste Datacenters toe is dit een pure 'schijnveiligheid'.

Ten eerste komende meeste A en B feeds vanaf een zelfde transformatorhuis buiten het terrein van het Datacenter. Gaat daar iets fout dan liggen zowel de A- als de B-Feed eruit.

Ten tweede komen zo goed als alle A- en B-Feeds in een willekeurig Datacenters (zoveel zijn er overigens niet die een echte A- en B-Feed hebben) van de zelfde 10KV ring. De enige zekerheid die er is, is dat men bij een kabelbreuk met een handmatige omschakeling direct verder kunnen leveren via 'de andere kant'.

Een goede UPS of Roterende UPS (DRUPS) is noodzaak wil je enige garantie kunnen bieden.

Oorspronkelijk geplaatst door gjtje

Daar zijn verschillende technieken voor en de meeste zorg zal besteed zijn aan het voorkomen van directe uitval van een A of B feed (door vliegwiel, generator e.d.). Vraag het na bij je datacenter leverancier.

vliegwiel

Dat neemt niet weg dat een beetje SAN oplossing vaak met een interne ups oplossing komt om een nette manier van afsluiten te kunnen garanderen (dat hele proces duurt bij onze machines toch ook al zo'n 10 minuten).

In onze storage unit zitten wel batterijen, maar die zijn er voor om de controllers onder spanning te houden zodat de geschreven data in het geheugen alsnog weggeschreven kan worden

Als je nu niks hebt is dat wel iets om naar te kijken, zoals aangegeven is 1 UPS dan voldoende en voorkomen van corruptie van je core opslag is wel stap één om een flinke crash te overleven.

Dat ben ik met je oneens, Situatie: je een UPS op de A feed hebt, en geen op de B feed.

Nu zijn er 3/4 scenarios mogelijk
1. Beide feeds vallen tegelijkertijd weg, UPS kicked in en stuurt een shutdown verzoek naar de storage unit.

2. B feed valt eruit, A feed blijft online, storage blijft draaien totdat de A feed er eventueel eruit zou gaan,
(Als A down gaat: UPS kicked in en stuurt een shutdown verzoek naar de storage.) (Dit is het meest gunstige scenario)

3. A feed (met UPS) valt eruit, B feed blijf online, UPS kicked in
3a. storage gaat uit (mijn inziens onnodig down want B feed is nog in de lucht)
3b. storage blijft draaien, ook als de A feed UPS leeg is, mocht B alsnog wegvallen dan valt de storage per direct uit, wat ik juist wilde voorkomen

mijn inziens heb je (als je een UPS nodig hebt) 2x een UPS nodig op zowel de A als de B feed, met daarop wat 'slimme' techniek die de beslissing maakt of er een shutdown moet gebeuren.
(Als A=UP en B=Down, doe niets || Als A=Down en B=Up, doe niets || Als A=down&B=down, sent shutdown)

Host machines zijn vrij snel te repareren mochten ze kaduuk zijn, je hele core storage terugzetten uit een back-up meestal niet...

Ik denk dat we de backup aardig voor elkaar hebben, naast de dagelijkse offsite backup maken we 6x per dag een replica van onze vm's naar onsite storage (een relatief simpele supermicro met een berg 2TB sas disks en SSD caching over iscsi), mocht onze core-storage omver vallen, om wat voor reden dan ook, en recovery duurt te lang dan kunnen we overstappen naar de tragere iscsi storage oplossing.

Overigens heeft ons rack voorzien van en N+1 and 2N power oplossing. Dus de echte noodzaak voor een UPS... ik ben er nogsteeds niet over uit :P

Oorspronkelijk geplaatst door Rik

Het probleem met de gescheiden A en B Feeds in de Nederlandse Datacenters is meervoudig...
Tot aan de beste Datacenters toe is dit een pure 'schijnveiligheid'.

Ten eerste komende meeste A en B feeds vanaf een zelfde transformatorhuis buiten het terrein van het Datacenter. Gaat daar iets fout dan liggen zowel de A- als de B-Feed eruit.

Ten tweede komen zo goed als alle A- en B-Feeds in een willekeurig Datacenters (zoveel zijn er overigens niet die een echte A- en B-Feed hebben) van de zelfde 10KV ring. De enige zekerheid die er is, is dat men bij een kabelbreuk met een handmatige omschakeling direct verder kunnen leveren via 'de andere kant'.

Een goede UPS of Roterende UPS (DRUPS) is noodzaak wil je enige garantie kunnen bieden.

Hier ben ik het deels mee oneens Rik. Als de boel knap opgezet is, dan is een A+B Feed over het hele traject gescheiden, vanaf de inderdaad eigenlijk altijd enkelvoudige trafo, maar daarna dus een A+B Generator, A+B UPS, A+B distributieborden, busbars, etc etc.
Het hoeft niet altijd mis te gaan aan het begin van de stroomketen, het kan ook zeer zeker misgaan aan het einde, een distributiepaneel wat ontploft bijv, of een hoofdzekering die niet goed werkt. Je hebt ook een A+B feed voor het geval bij verlies van netspanning 1 v/d 2 generatoren, of UPS'n niet functioneert.
Tevens bied een A+B feed flexibiliteit bij onderhoud.

Dat in Nederland eigenlijk alles uit dezelfde ring / trafo komt is mijn inziens dan ook absoluut geen probleem. Nederland heeft daarbij ook een enorm stabiel en betrouwbaar stroomnet.

Meerdere ringen is ook niet altijd een punt van automatische betrouwbaarheid, kijk naar de problemen die de US in de jaren 90 heeft gehad : http://en.wikipedia.org/wiki/1996_We...rica_blackouts Meerdere ringen had daar niets geholpen.

Je wilt er gewoon voor zorgen dat je stroomvoorziening van bron tot eind gebruiker zo goed mogelijk opgezet is.

Ha Paul,

Over de faciliteit inpandig (de door jou aangegeven A+B Generator, A+B UPS, A+B distributieborden, busbars) heb je zeker gelijk.
Ik ga er even vanuit dat de goede Datacenters dit vanaf trafo tot rack goed ingeregeld hebben...

Ik wil alleen aangeven dat de gescheiden feeds vanaf het netwerk in 98% van de gevallen een vorm van schijnveiligheid is qua redundantie.

Het netwerk in Nederland is op zichzelf al vele malen robuuster dan menig Tier-IV DC in de VS met een gescheiden levering van het Grid.

En als we echt ver gaan... wie van jullie heeft zijn noodstroomvoorzieningen al in een kooi van Faraday staan?


In de VS is men bezig met wetgeving die het gaat verplichten om bepaalde data en (energie-)infra in EMP beschermde gebouwen te plaatsen.
SchieldAct (HR 2417) & the Critical Infrastructure Protection Act (HR 3410)

Geef het 2-3 jaar en men begint in de EU aan de zelfde wetgeving.

Oorspronkelijk geplaatst door Rik

Ha Paul,

Over de faciliteit inpandig (de door jou aangegeven A+B Generator, A+B UPS, A+B distributieborden, busbars) heb je zeker gelijk.
Ik ga er even vanuit dat de goede Datacenters dit vanaf trafo tot rack goed ingeregeld hebben...

Ik wil alleen aangeven dat de gescheiden feeds vanaf het netwerk in 98% van de gevallen een vorm van schijnveiligheid is qua redundantie.

Het netwerk in Nederland is op zichzelf al vele malen robuuster dan menig Tier-IV DC in de VS met een gescheiden levering van het Grid.

En als we echt ver gaan... wie van jullie heeft zijn noodstroomvoorzieningen al in een kooi van Faraday staan?


In de VS is men bezig met wetgeving die het gaat verplichten om bepaalde data en (energie-)infra in EMP beschermde gebouwen te plaatsen.
SchieldAct (HR 2417) & the Critical Infrastructure Protection Act (HR 3410)

Geef het 2-3 jaar en men begint in de EU aan de zelfde wetgeving.

Je vraagt je soms af waarom er geen wetgeving is om dingen die bewezen misgaan te voorkomen, en dan wel wetgeving komt om dingen die ongeveer nooit de oorzaak waren te voorkomen ....

Ik denk wel dat op enige termijn de gemiddelde betrouwbaarheid van 'de grid' achteruit gaat, met als hoofdoorzaak het meer aansluiten van 'jojo producenten', namelijk zon en wind.
Er is gewoon maar een heel kleine buffercapaciteit om snelle fluctuaties tussen verbruik en productie van electriciteit glad te strijken, en dat gaat niet samen met grote percentages productie die heel snel (windvlaag/bewolking) veranderen.

Oorspronkelijk geplaatst door visser

Je vraagt je soms af waarom er geen wetgeving is om dingen die bewezen misgaan te voorkomen, en dan wel wetgeving komt om dingen die ongeveer nooit de oorzaak waren te voorkomen ....

Deels true

Alleen is het ook wel eens fijn om zaken op voorhand uit te sluiten in plaats van (weer) wachten tot het mis gaat?

Overigens zijn er al een legio voorbeelden van effecten op diverse grids in US en Canada (vandaar dat wetgeving daar waarschijnlijk sneller tot stand zal komen op dit vlak).