Bekijk Volledige Versie : Intel Modular Server System
Wie o wie heeft ervaring met een Intel Modular Server System (MFSYS25). We zijn aan het oriënteren om op kort termijn uit te breiden en op te schalen.
Dus het volgende, wie heeft er ervaring met de interne storage oplossing incl de lunkey uitbreiding. Dit alles icm vmware. Dit zal uiteindelijk een mooie tussenoplossing zijn, op lange termijn is de bedoeling om ook gebruik te maken van een esva iscsi omgeving er naast.
Maak ons gelukkig :lovewht:, of niet :ban:
ps. graag eigen ervaringen, hear say ervaring(en) zit ik niet echt op te wachten :)
Mikey,
Hij is niet veel hier (http://www.webhostingtalk.nl/members/keenondots.html), maar keenondots.com heeft er een stapel van in gebruik.
Toevallig eind december besteld en krijg hem deze week binnen.
Heb hem besteld met 2 blade's (quadcore&24Gb ram) en 2x 2tb schijven.
Als je wilt kan ik je wel even op de hoogte houden. Er komt ook Vmware V-Sphere 4 op te draaien.
Toevallig eind december besteld en krijg hem deze week binnen.
Heb hem besteld met 2 blade's (quadcore&24Gb ram) en 2x 2tb schijven.
Als je wilt kan ik je wel even op de hoogte houden. Er komt ook Vmware V-Sphere 4 op te draaien.
Aan de grootte te zien 3.5" bewuste keuze om maar max 6 schijven erin te kunnen steken ?
Keenondots
04/01/10, 23:02
Jep, wij hebben een stuk of 4 chassis draaien nu and counting . We configureren alle blades op dual quad core met 16-24 (DDR3) GB ram. Alle zijn uitgerust met 14x 2.5" SAS (150-300gb) 10krpm. Ik vind de 6x3.5 niet echt een performance optie, wel voor SMB.
We hebben er ook Promise E310s en J310s achterhangen voor meer online storage (via SAS expander poorten)
Eigenlijk weinig tot geen problemen. Soms een voeding defect, maar daarom heb je er 4 per chassis.
We draaien onze hele infra virtueel met Parallels Virtuozzo of Bare Metal Server. Dit icm load balancing of clusting zonder shared storage (over blades of in ons geval over chassis heen) biedt je een super uptime.
Nadeel is: wil je een chassis flashen (de 5.0 is top en best wel af, maar dat was in t begin wel anders) dan moeten je servers down. In ons geval betekend dat een heel chassis uit productie nemen (alle VMs migreren naar ander chassis). Gaat wat tijd overheen...
Het is voor ons een flinke sprong voorwaards geweest tov 1-2u servers. De noodzaak om naar het datacentrum te gaan is gedaald tot nieuwe installaties en echte shit. De rest kan en gebeurt dus op afstand, ook bv Win2k8 via ISO installeren. Qua management: KVMoIP, switch, SAS, etc. allemaal via 1 webinterface.
Doordat je nu nog maar 1 type server hebt (eigenlijk 2 want er zijn 2 generaties blades) is het beheer van spares een stuk eenvoudiger.
Ik ben niet zo'n fan van shared LUN. Ik zou daar geen cluster op draaien - je zult zien dat alsnog je shared storage de geest geeft. Wij hebben bijv. diverse SQL2k8 mirror clusters draaien, maar gewoon met local copy en elke node op een ander chassis.
Zo, heel verhaal geworden - specifieke vragen?
Keenondots
04/01/10, 23:04
Oh, en je kabelspaghetti aan de achterkan van je rack gaat van onbeheersbaar (KVM, 2xPSU, 2xNIC, etc.) naar minimalistisch (4xPSU, 3x NIC, 1x SAS per chassis)
Hoe verhouden de 14 schijven zich ten opzichte van de blades op moment je ze vol zet met vms ?
Keenondots
04/01/10, 23:11
Hoe verhouden de 14 schijven zich ten opzichte van de blades op moment je ze vol zet met vms ?
Qua performance bedoel je? Prima.
We draaien 2 pools met 6 disks per pool in RAID6 met 2 spares. Diskperformance is prima en we offloaden dus ook naar die Promise dozen indien nodig. Net 16-24GB per blade komen we aardig uit qua CPU, memory en disk performance. Allemaal tegelijk op, zeg maar :)
Overigens zijn die nieuwe Nehalem DDR3 blades wel echt réte snel. We hebben daar geloof ik allemaal 5530's in zitten. En ik vond dat 1e type blade al een vooruitgang...
Dat hadden we al begrepen dat de nieuwe intel cpus zwaar beter performen dan de oudere. Dat moest het nieuwe type blade een hoop goed doen. We hadden zelf dual L5520 op het oog. Dit samen met 24Gb geheugen. Ik bespeur enige enthousiasme als het om de ims gaat :)
Keenondots
04/01/10, 23:18
Dat hadden we al begrepen dat de nieuwe intel cpus zwaar beter performen dan de oudere. Dat moest het nieuwe type blade een hoop goed doen. We hadden zelf dual L5520 op het oog. Dit samen met 24Gb geheugen. Ik bespeur enige enthousiasme als het om de ims gaat :)
Valt het op ja ;) Het leven is er een stukje gemakkelijker van geworden. We hebben een hele goeie Intel IPI partner in de buurt (belangrijk!)
Als je gaat virtualiseren zou ik je altijd de zwaarte CPU aanraden die je ervoor over hebt. De meerprijs nu bespaart je een vroege upgrade/uitbreiding later.
Valt maar een klein beetje op ;)
Ik zat te kijken naar de VTrak E310 die je beschreef als extra storage, deze heeft 4 aansluitingen. Ik weet niet of je twee storage modules in de ims hebt zitten, maar is deze dan ook via die weg redundant aan te spreken ?
En het volgende, verbuddeld de bandbreedte naar de VTrak E310 als je twee storage modules hebt of blijft het eenmaal bij 3gb ?
En de hamvraag ;) doordat de storage lokaal is, zet je dan bij het migreren van de vms alles over naar een andere ims dus alle data gaat over het netwerk heen, of heb je ergens de mogelijkheid om ze te koppelen waarmee je eigenlijk meerdere ims tot 1 kan voegen ?
Keenondots
05/01/10, 09:29
Ik zat te kijken naar de VTrak E310 die je beschreef als extra storage, deze heeft 4 aansluitingen.
Ja, voor 4 chassis dus. En een poort voor een JBOD daisy chain.
De E310s kan ook met dual controller en dat samen met je MFSYS25 in dual controller config. Intel en Promise hebben een whitepaper over de configmogelijkheden.
2 controllers is vooral redundant. Je kunt wel affinity instellen zodat je beide controllers deels belast, maar een single I/O gaat gewoon over een single controller.
Omdat CentOS5 officieel nog steeds niet ondersteund wordt in dual controller config (Windows eindelijk wel) gebruiken we dat nog niet.
Uiteindelijk nooit aangeschaft maar we hebben wel wat research gedaan en ik moet zeggen dat kwa oplossingen op gebied van blades de Intel Modular Server serie er erg goed uit kwam. De prijzen vielen ook ontzettend mee (als ik me goed herinner volledig systeem met redundante voeding/utp etc. + 146GB SAS Disks + 4 dual quad blades voor +- €6000).
Wat ik het nadeel vond is dat je geen 3.5 inch (sata) schijven kon gebruiken destijds, ik weet niet of ze dit inmiddels hebben veranderd (als ik hierboven lees nu wel dus). Het was in ieder geval vrij kostbaar om op die manier hoge storage hoeveelheden te verwerken.
Het hele "built-in" SAN principe is geweldig :)
Keenondots
05/01/10, 11:04
Uiteindelijk nooit aangeschaft maar we hebben wel wat research gedaan en ik moet zeggen dat kwa oplossingen op gebied van blades de Intel Modular Server serie er erg goed uit kwam. De prijzen vielen ook ontzettend mee (als ik me goed herinner volledig systeem met redundante voeding/utp etc. + 146GB SAS Disks + 4 dual quad blades voor +- €6000).
Reken op tenminste €16-18k voor een chassis, extra PSUs, railkit, 14x Savvio 300GB, 4 blades met 24GB elk en 2xE5530's. De nieuwste firmware ondersteunt ook SATA, maar de compatability list is beperkt. Tip: combineer _ALLEEN_ gecertificeerde hardware.
2 controllers is vooral redundant. Je kunt wel affinity instellen zodat je beide controllers deels belast, maar een single I/O gaat gewoon over een single controller.
Raad je de tweede controller aan ? Als ik zie wat deze los kost is het haast bijna voordeliger om een extra chassis te nemen en deze te gebruiken voor de spare parts :)
Keenondots
05/01/10, 12:51
Raad je de tweede controller aan?
Als het project die mate van redundantie nodig heeft en jouw OS/virtualisatieplatform wordt ondersteunt zou ik het doen. Wij gebruiken het nog niet om genoemde reden.
Als ik zie wat deze los kost is het haast bijna voordeliger om een extra chassis te nemen en deze te gebruiken voor de spare parts :)
Voor spares is dat zeker de beste keuze.
ok duidelijk, welke onderdelen heb je zelf al als uitval gehad ?
En weet je trouwens of de tweede controller later gewoon hotswap erbij gestoken kan / mag worden ?
Keenondots
05/01/10, 13:11
ok duidelijk, welke onderdelen heb je zelf al als uitval gehad ?
Qua chassis alleen voedingen (1e series). Verder enkele blades DOA en de gebruikelijke DDR reepjes, CPUs. Vrij weinig eigenlijk, zoals het hoort.
Het 1e chassis draait sinds de introductie van dat ding, dus nu ca. 2 jaar.
Overigens heb ik destijds http://www.mfsys25.com/ ingericht, maar nooit wat mee gedaan. Als er interesse is onder gebruikers om wat ervaringen te delen dan kunnen we die site gebruiken van mij betreft.
Als we de spullen binnen hebben, zullen we ook zeker de bevindingen delen. Nooit verkeerd in ieder geval :)
Wij hebben er eentje draaien, voor een specifieke klant. We wouden dat zelf ook gaan gebruiken, maar wachten er nog even mee. We hebben in het begin wat last gehad van firmware bugs. Op een bepaald moment was er een chassis dat niet meer te beheren viel via de management interface, wat je ook probeerde. We hebben het hele chassis moeten herstarten om de blade terug werkend te krijgen. Dat was absoluut niet leuk! Bovendien zitten er 1st gen blades in (zitten nu 5 stuks in). Willen we daar een nieuwere blade in, moet opnieuw het hele systeem geflashed worden. Het flashen op zich gaat vlot, maar alles moet wel down daarvoor, en het duurt even.
Gelukkig zijn de 1e generatie blades nog altijd leverbaar, dus je zit wel voor een paar jaar safe, maar het beperkt je opties wel lichtjes.
De stabiliteitsbugs zijn trouwens helemaal weg, het ding loopt als een trein nu. Enige nadeel: de KVM is java-based en zoals bijna alle java-based kvm's, doet die raar met sommige toetsencombinaties.
Keenondots
05/01/10, 15:20
We hebben het hele chassis moeten herstarten om de blade terug werkend te krijgen. Dat was absoluut niet leuk! Bovendien zitten er 1st gen blades in (zitten nu 5 stuks in). Willen we daar een nieuwere blade in, moet opnieuw het hele systeem geflashed worden. Het flashen op zich gaat vlot, maar alles moet wel down daarvoor, en het duurt even.
CMM booten zou voldoende moeten zijn? Soms icm blade swappen. Eerste firmware versies hadden enkele issues, true.
de KVM is java-based en zoals bijna alle java-based kvm's, doet die raar met sommige toetsencombinaties.
In de nieuwste firmwares is KVM ook veel beter geworden.
Flashen in een niet 24x7 omgeving is kwestie van shutdown blades, storage controller in safe mode, flashen (juiste volgorde aanhouden) en starten. Ik zou wel backups klaar hebben staan - maar het is nog nooit misgegaan hier.
Maar franske, als ik je verhaal zo zie is na de aanloop het een pracht systeem ?
CMM booten zou voldoende moeten zijn? Soms icm blade swappen. Eerste firmware versies hadden enkele issues, true.
Nope, helaas. Hebben we geprobeerd.
In de nieuwste firmwares is KVM ook veel beter geworden.
Flashen in een niet 24x7 omgeving is kwestie van shutdown blades, storage controller in safe mode, flashen (juiste volgorde aanhouden) en starten. Ik zou wel backups klaar hebben staan - maar het is nog nooit misgegaan hier.
we draaien nu CMM 2.6.100, daarin is KVM alvast nog niet super. Maar wij zitten in België natuurlijk ook met een azerty keyboard, en bovendien niet specifiek aan Intel of dit bladesysteem.
@Mikey: absoluut! Ik overweeg het nu sterk voor sommige volgende projecten, misschien zelfs voor algemene hosting/vds/...
Mooi om te horen franske, alleen jammer van de aanloop dus.
@keenondots
De switch, is deze op te delen in twee vlans waar de servers beide op kunnen connecten ? Of dient daar de tweede switch module voor gebruikt te worden. We zitten namelijk met een gescheiden backup platform :)
Uiteindelijk nooit aangeschaft maar we hebben wel wat research gedaan en ik moet zeggen dat kwa oplossingen op gebied van blades de Intel Modular Server serie er erg goed uit kwam. De prijzen vielen ook ontzettend mee (als ik me goed herinner volledig systeem met redundante voeding/utp etc. + 146GB SAS Disks + 4 dual quad blades voor +- €6000).
Mocht je hem voor dat geld gevuld en wel kunnen kopen, niet nadenken maar doen. De prijzen die we binnen hebben komen bij lange na niet in die buurt gevuld :)
Mooi om te horen franske, alleen jammer van de aanloop dus.
@keenondots
De switch, is deze op te delen in twee vlans waar de servers beide op kunnen connecten ?
Ja, dat kan.
Blades hebben standaard 2 ethernet poortjes. Optioneel hebben ze er 2 extra, maar daarvoor heb je 2e switch en mezzanine per blade voor nodig.
Net wat ik wou horen :), spullen worden vandaag besteld \o/
Valt het op ja ;) Het leven is er een stukje gemakkelijker van geworden. We hebben een hele goeie Intel IPI partner in de buurt (belangrijk!)
Kan zo 123 geen IPI partner vinden in de buurt die matched bij ons, maar hebben wel bewust gekozen voor een die uit het AWR programma kan leveren. Binnen 24H replacements vanuit intel met 3 jaar garantie.
Vergeten vermelden: het omgekeerde is ook waar: als je de 2e switchmodule wil gebruiken, MOET je de mezzanine boardjes hebben!
Bladecenter is vandaag verzonden en zou hem vanmiddag moeten krijgen.
Ben zeer benieuwd :)
Tevens ook gelijk een Juniper SRX 240 besteld.
Keenondots
07/01/10, 11:36
Blades hebben standaard 2 ethernet poortjes. Optioneel hebben ze er 2 extra, maar daarvoor heb je 2e switch en mezzanine per blade voor nodig.
Met VLANs op de NICs en switch kun je een blade op wel 20 VLANs laten praten. Erg flexibel dus.
Keenondots
07/01/10, 11:39
Tevens ook gelijk een Juniper SRX 240 besteld.
Waar ga je die voor inzetten? Waarom deze? Met welke merken heb je e.e.a. vergeleken?
Interesse omdat wij op termijn een firewallcluster gaan vervangen door iets nieuws. Onder andere SonicWall staat op ons verlanglijstje.
Bladecenter
Bladecenter is van IBM, we hebben het hier over intel :)
Heren,
Ik heb mijn intel bladecenter binnen. Hierin zitten 2 voedingen. Hoeveel amp en kWh verbruikt de bladecenter eigenlijk ?
het verbruik kan je uitlezen in de management interface
Heren,
Ik heb mijn intel bladecenter binnen. Hierin zitten 2 voedingen. Hoeveel amp en kWh verbruikt de bladecenter eigenlijk ?
Zou je de juiste benaming willen toepassen, bladecenter is niet van intel maar van ibm. Mocht je dat teveel moeite vinden open dan een eigen topic, en laat deze topic met zijn nuttige informatie nuttig zonder verwarring te creëren.
Keenondots
08/01/10, 08:54
Volledig geladen chassis zitten wij op ca 1kW AC feed. Dat zegt althans de managementinterface... :)
Volledig geladen chassis zitten wij op ca 1kW AC feed. Dat zegt althans de managementinterface... :)
Is dit bij constant gemiddeld verbruik, piek verbruik, ...? Omgerekend kom ik dan aan +- 4 Ampere (gemiddeld) wat toch nog redelijk goed meevalt, als we het vergelijken met 1 san + 6 server nodes ;)
Is dit bij constant gemiddeld verbruik, piek verbruik, ...? Omgerekend kom ik dan aan +- 4 Ampere (gemiddeld) wat toch nog redelijk goed meevalt, als we het vergelijken met 1 san + 6 server nodes ;)
Wij kamen qua berekening ook in die richting samen met de L5520 80w idle voor dual processor en 218w bij 100%
http://www.hardware.info/nl-NL/articles/amdnaGprZGKa/Intel_Xeon_L5520_test/10
De onze zitten er 5 blades in, met per blade 2x L5410 en 16GB ram. Er zitten 6 sas 15krpm disks in, 4 power supplies. Het ding doet wel bijna alleen businesstoepassingen, dus load is nu 0.
Volgens het dashboard doen we nu 588W, en kan het maximum 2380W doen in deze config (al weet ik niet of dat rekening houdt met cpus). 2.5A voor 5 dual-quad core servertjes en 15krpm disks is niet veel :).
kleine noot : ik heb de indruk dat deze wattages een lichte onderschatting zijn. Ik zou eens met een amperetang moeten meten.
Bedankt voor de reactie's vandaag heb ik de bladecenter aangesloten. Qua Amp zit het nu op 0.6 om 0.6 (2 voedingen).
Erg netjes.
Bedankt voor de reactie's vandaag heb ik de bladecenter aangesloten. Qua Amp zit het nu op 0.6 om 0.6 (2 voedingen).
Erg netjes.
Ik zal je even helpen, aangezien je weigert te lezen. Sterker nog weet je uberhaupt wel wat je gekocht hebt ?
Bedankt voor de reactie's vandaag heb ik de IMS aangesloten. Qua Amp zit het nu op 0.6 om 0.6 (2 voedingen).
Erg netjes.
Wij hebben er nu ook 2 hangen, en tot nu toe bevalt het goed. Wel lomp zwaar om in de racks te hangen trouwens.
Snelheid is super, load nagenoeg 0.
We zetten 15 VPS servers per node (blade)
Elke node heeft 2 x Nehalem Quad core 2.26 Ghz met 48 GB DDR3 1066 ECC
REG CL7 DIMM
We hebben gekozen voor 14 HD`s per chassis. 300GB 2.5" 10K SAS DRIVE in RAID6
Per Chassis houden we 1 node en 2 HD`s spare.
Qua kosten loont het zich om eens goed rond te kijken, het beste kwamen we uit bij http://www.connectworks.nl
Hiervoor hadden we een EqualLogic PS6000X besteld, welke uiteraard ook super loopt, maar het prijs verschil is te groot tussen de Dell en de Intel.
Wat is jullie overweging geweest om raid6 te kiezen ? Wij kwamen juist uit een horror situatie met raid6 en hebben tijdens het inrichten voor raid10 gekozen. Wel was voor ons een belangrijke side note dat ruimte bij ons in geen geval bepalend was welke raid configuratie we zouden kiezen.
Overigens moet je wel goed kijken welke intel partner je kiest, iets wat keenondots ook al aanhaalde. Maxict was met de chassis goedkoop, maar dan had je niet standard nbd replacements. Terwijl je voor hetzelfde geld dit zo erbij kan hebben.
http://download.intel.com/support/motherboards/server/mfs5520vi/sb/mfsys25_mfsys35_mfs5000si_mfs5520vi_thol_rev2_8.pd f
sinds korte tijd zijn eindelijk de 450 en 600GB sas schijven van seagate gecertificeerd :thumbup:
cyberbootje
04/07/10, 15:20
Wat is jullie overweging geweest om raid6 te kiezen ? Wij kwamen juist uit een horror situatie met raid6 en hebben tijdens het inrichten voor raid10 gekozen. Wel was voor ons een belangrijke side note dat ruimte bij ons in geen geval bepalend was welke raid configuratie we zouden kiezen.
Mag ik vragen wat de horror situatie precies was?
Zit hier ook rond te kijken en had in eerste instantie ook gedacht aan raid6. Eventueel als dit ver off-topic gaat mag er wel een topic bijkomen:lovewht:
Mag ik vragen wat de horror situatie precies was?
Zit hier ook rond te kijken en had in eerste instantie ook gedacht aan raid6. Eventueel als dit ver off-topic gaat mag er wel een topic bijkomen:lovewht:
heel simpel, performance. Je hebt veel ruimte, en je set is snel voor lezen, maar schrijven is zwaar knudde. Zeker als dit veel random io betreft. Lees je goed in en kijk goed naar de verschillende raid levels. Wij hebben als overstap gekozen voor raid10.
cyberbootje
04/07/10, 22:35
Ow op die fiets, bij horror dacht ik aan defecte array of andere rare dingen.
Nee idd, raid 10 is beter heb ik ook zelf ondervonden bij het testen:thumbup:
Raid 6 hier is dan eerder voor backups vandaar dat ik dacht, ho even wat is er zo horror aan...
Niks aan de hand dus, excuses voor offtopic zijn.
Even een update binnen dit topic, sinds een maand of 6 draait er hier ook een, en ook ik kan zeer zeker beamen dat het een pracht product is. Heb inmiddels de tweede controller erin zetten en hieraan een vtrak van promise gekoppeld. Kort gezegd een kind kan de was doen en ik slaap er heerlijk mee verder :) Verder is de shared lun key een mooie aanrader :)