San met 10gb lan voldoende?

[jeffer]

Omdat het de bedoeling is om binnen enkele maanden over te gaan naar een eigen rack ben ik aan het puzzelen wat (voor ons) een fijne hardware is om een stabiel HA cluster te bouwen voor het aanbieden van virtuele servers.

We werken met SolusVM die binnen enkele maanden uitkomt met versie 2. Versie 2 ondersteund HA cluster met gebruik van een San.

Mocht dit in de praktijk niet werken zoals we willen dan overwegen we momenteel om Proxmox te gaan gebruiken omdat daar reeds goede ervaringen mee zijn.

Mijn voorkeur gaat uit naar een HA cluster met gebruik van een eigen gebouwde san/nas.
Ik heb hier uitgeschreven wat ik wil en wat ik daarbij nodig heb.
Echter komen daar toch wel een aantal vragen bij omhoog die ik zelf zonder deze ervaring niet direct kan beantwoorden.

Ik hoor graag andere mensen met ervaring hierin of technische kennis hebben hierover.

Ik heb een zelf bouw nas samen gesteld met Supermicro onderdelen. Supermicro bied moederborden met raid en 10gb lan poorten.
Klinkt in eerste instantie heel mooi natuurlijk, of het echt goed werkt laat ik even in het midden.


De vragen zijn onder andere:

- Is 10gb lan (over koper) wel echt haalbaar.

- Is dit qua snelheid vergelijkbaar met iscsi / fiber?
Is juist iets anders aan te raden? Waarom dan?

- Is 10gb wel genoeg als je 5 a 6 nodes (om te beginnen) data wil laten pompen van deze san / nas. En in de toekomst misschien meer?

- Watvoor 10gbit switch zouden jullie aanraden?
Ik zie switches voor 1000 euro maar ook van 5000 euro.
Dit zijn overigens geen specifieke layer 4 switches zoals soms wordt aangegeven te gebruiken voor San's.
Voldoet een algemene 10gbit switch?


Ondanks dat ik dit allemaal graag zelf zou gaan uitzoeken is het voor mij zowel qua tijd als financieel niet haalbaar om zo'n uitgebreide testopstelling thuis te doen, vandaar dat elke hulp bij aanschaf van een san en bijhorende netwerk spullen welkom.

Alvast bedankt voor de informatie en het meedenken :)

[bibawa]

Ik veronderstel dat je VPSen je core business zijn (of daar toch deel van uitmaken ..) de eerste vraag die ik me dan afvraag is waarom je in godsnaam dat gaat draaien op zelfbouw materiaal.. Investeer liever in een degelekijke san en steek wat zelfbouw servers in elkaar.. Je san is je ruggegraat van je omgeving als die plat gaat wil je geen support hebben omdat je voor zelfbouw bent gegaan..

10Gpbs voldoende.. het er allemaal aan welke servers er op je hardware nodes gaan draaien, 5 fysieke nodes zegt niets natuurlijk. Wij draaien vandaag de dag nog op gigabit (4x1) en dat volstaat vandaag de dag nog perfect en is betaalbaarbaar..

[systemdeveloper]

Verkijk je niet op 10gb. In bepaalde gevallen komt dat goed tot zijn recht, maar vaak is het gewoon een dure oplossing voor iets dat niet nodig is.

Wil je dit goed ha hebben dan heb je al snel 4x10gb per node nodig als je 2 redundante storages in active/active setup gebruikt omdat je dan 4 netwerken heb. ( node 1 -> storage switch 1 -> storage 1, node 1 -> storage switch 2 -> storage 1 en idem voor storage 2)
Plus 2 keer 1gb naar je 2 public switchen.

Op je 2 storages heb je dan nog eens ieder 6 (2 x 2 voor redundant verbindingen naar je switches en 2 voor replicatie) nodig want het laatste wat je wilt is een bottleneck in je replicatie of storage netwerk.

Met 6 nodes met ieder 4 x 10gb plus 2 sans heb je dan toch al een paar leuke 10gb switchen nodig en dan ben je onder de 15k waarschijnlijk niet klaar.

Al met al lijkt me 10GB in een full HA setup voor 5-6 nodes een beetje overkill. Het voordeel van 1gb poortjes op een node (ipv 10gb) is natuurlijk niet alleen dat het goedkoper is, maar ook dat 1 node niet een groot deel van je setup kan plat trekken (network wise). Als je niet genoeg iops hebt in je sans om überhaupt een paar gb aan random io aan te kunnen dan heb je aan 10gb hooguit iets voor sequentiële doorvoer. En dat zijn over het algemeen backups, geen 'normaal' vps traffic.

Ik zou eerder gaan voor een paar hele goede storage switchen, 1 gb nics overal over mpio en een paar goede snelle sans.

[FJH]

- Is 10gb lan (over koper) wel echt haalbaar.

Hou er rekening mee dat je 10Gig effectief niet verder dan 60% gevuld krijgt.

- Is dit qua snelheid vergelijkbaar met iscsi / fiber?

In theorie is Fibre Channel het snelste (laagste latency), daarna iSCSI en dan NAS. In werkelijkheid is de snelheid vooral afhankelijk van de afstemming tussen storage, hypervisor en applicatie. Is je applicatie geoptimaliseerd voor block data? Dan heeft het niet zo veel zin om een NAS te bouwen en vice versa. Check dus vooral eerst of SolusVM v2 of Proxmox een voorkeur geeft aan file of block based data opslag. Hebben ze best practices? Minimum requirements?

Nog een opmerking; ik zie in de praktijk dat storage via Fibre Channel een beter up-time heeft dan via Ethernet. Oorzaak: Bij Ethernet "durft" men veel sneller aanpassingen door te voeren en dan is een foutje dus ook sneller gemaakt. Bij Fibre Channel wordt in veel gevallen de configuratie na in gebruik name niet meer aangeraakt.

- Is 10gb wel genoeg als je 5 a 6 nodes (om te beginnen) data wil laten pompen van deze san / nas. En in de toekomst misschien meer?

Dan moet je toch eerst eens uitzoeken wat de load nu is (tijdens piek uren). Aantal concurrent users? Hoeveel iops? Read/Write verhouding? Block-size? Mbit/sec? Latency? Elke node zal toch tenminste met 2 x 10Gbit aangesloten moeten worden als je een HA cluster wil realiseren. Dan heb je aardig wat capaciteit als je dat combineert met een mpio gebaseerde configuratie.

- Watvoor 10gbit switch zouden jullie aanraden? Ik zie switches voor 1000 euro maar ook van 5000 euro.

Een betrouwbaar storage netwerk vereist wel switches met voldoende capaciteit, poort buffers en het liefst lage latency. €1000,-? Dat klinkt niet bemoedigend. In mijn ogen levert Arista goede 10Gig switches.

Tot slot nog een opmerking. Je schrijft dat je een HA cluster wil bouwen. Realiseer wel dat jouw zelfbouw storage systeem een single point of failure voor jouw HA cluster zal zijn. Een HA cluster vereist ook een HA storage systeem.

Veel succes!

[Serveo]

10Gbit icm ISCSI is your way to go. Een setup als deze kun je op dit moment al realiseren met een budget van 3K voor networking. Dan heb ik het over twee switches. Twee type switches die aansluiten bij dit budget:

Arista DCS-7124S
Bladenetwork (IBM) G8124-E

Hou er bij de keuze van je switch rekening mee dat deze minimaal layer 2 is. Layer 3 voor iscsi networking is niet echt van belang. Daarnaast is het te adviseren dat je NIC's neemt die JUMBO frames en RDMA ondersteuning heeft. Als je meer wilt vergelijken tussen 10GbE switches, dan is het goed om het rapport van Lippis er op na te slaan: http://lippisreport.com/2015/01/open-industry-network-performance-power-test-for-cloud-networks-evaluating-1040100-gbe-switches/

Wat betreft je HA clustering. Hou ook rekening mee dat je SAN geen SPoF heeft. Hierbij kun je denken aan een OSNexus oplossing (betaald) of een oplossing op basis van OmniOS (Napp-it) met een licentie van RSF-1. Er zijn zelfs enkele die zonder RSF-1 een HA setup hebben gerealiseerd, alleen is hier geen bevestigde handleiding voor (http://zfs-create.blogspot.se/2013/06/building-zfs-storage-appliance-part-1.html). Je kunt in dit geval misschien beter kijken een een distributed oplossing als StorPool. Mogelijk dat ze zelfs integrated storage aanbieden met SolusVM.