Bekijk Volledige Versie : [GEZOCHT] 10GBase-T switch + NICs .. Of Infiniband?
Wie heeft dit te veel, wat weg mag voor een goede prijs?
We zouden graag minimaal 8 servers met elkaar verbinden via een goedkope 10G oplossing. 10G SFP+ switches zijn nogal duur, vandaar de vraag voor 10GBase-T switches en NICs.
Of zou Infiniband misschien ook een alternatieve goedkope oplossing kunnen zijn?
Ik hoor het graag.
Infiniband is qua drivers ed een halve oplossing (vind ik), na een pilot met eBay kaartjes snel mee gestopt.
Wij draaien intern op 4x gbit per server, met quad kaartjes.
Upgrade 10G gaat volgend jaar gebeuren, maar voor nu is 4x gbit voldoende.
Sent from my iPhone using webhostingtalk mobile app
En hoe doe jij dan precies 4Gbit over 4 poorten? Want de snelheid per sessie is toch steeds beperkt tot 1gigbit?
Of gebruik je iets als balance-rr ? Werkt dit dan naar behoren? De bonding driver in Linux spreekt zelf al direct over een probleem ermee: out-of-order ontvangen van pakketten...
T. Verhaeg
27/06/15, 11:26
Of gebruik je iets als balance-rr ? Werkt dit dan naar behoren? De bonding driver in Linux spreekt zelf al direct over een probleem ermee: out-of-order ontvangen van pakketten...
Dat is sowieso al een eigenschap van het loadbalancen per-packet, betekent iets meer overhead, doordat de pakketten weer juist opgebouwd moeten worden d.m.v sequence numbers, maar wel betere spreiding over je nics.
Hoe werkt dat dan precies?
Stel ik wil 10 servers verbinden. Ik voorzie elke server met een quad gigabit nic. Hoe moet dit dan verder?
Ik heb momenteel een HP 2810-48G switch, hoe moet ik deze dan configureren om gebruik te kunnen maken van balance-rr?
Want de switch kan wel LACP aan enzo, maar dat is niet wat ik dan nodig heb natuurlijk...
Moet ik dan van elke server elke eerste poort in 1 vlan stoppen, elke 2de poort in een 2de vlan, etc...? Zodat elke server met elkaar kan communiceren over 1 vlan via dezelfde poort, en dan hierover de balance-rr toepassen?
Of heb ik hiervoor een speciale switch nodig die ook de balance-rr methode ondersteund ofzo?
Infiniband is gewoon een volwaardige oplossing. Ook erg breed qua protocollen. 10G is wel een stuk goedkoper.
Sent from my GT-I9505 using webhostingtalk mobile app
Dat is sowieso al een eigenschap van het loadbalancen per-packet, betekent iets meer overhead, doordat de pakketten weer juist opgebouwd moeten worden d.m.v sequence numbers, maar wel betere spreiding over je nics.
Eh ?
Wat ik vind over balance-rr is gewoon per-packet loadbalancing. Dat introduceert geen extra header/ eigen sequence nummer, en dus geen overhead.
Het geeft _wel_ een risico op out-of-order delivery, en daarvan zakt tcp throughput heel erg snel in.
Als je iscsi gebruikt dan kun je gebruik maken van multipath, iedere nic in een apart subnet of zelfs een aparte switch
voor redundancy. Al het verkeer wordt dan netjes verdeeld over alle vier de aangesloten nics.
T. Verhaeg
27/06/15, 16:10
Eh ?
Wat ik vind over balance-rr is gewoon per-packet loadbalancing. Dat introduceert geen extra header/ eigen sequence nummer, en dus geen overhead.
Het geeft _wel_ een risico op out-of-order delivery, en daarvan zakt tcp throughput heel erg snel in.
Voor de duidelijkheid: Klopt dat het per packet loadbalancing is, maar met overhead bedoelde ik zoals jij ook aangeeft dat packets out of order arriveren (waardoor TCP het of weer in de juiste sequence moet zetten, of packets opnieuw moet aanbieden), en dat is inderdaad killing voor je performance.
Als je iscsi gebruikt dan kun je gebruik maken van multipath, iedere nic in een apart subnet of zelfs een aparte switch
voor redundancy. Al het verkeer wordt dan netjes verdeeld over alle vier de aangesloten nics.
Alleen daaraan heb je natuurlijk weer maximaal 1 gigabit per sessie naar je iscsi target.
iscsi multipath is misschien nog een betere oplossing. Bedankt voor de tip!
Maar toch, als er iemand goedkoop 10G / Infiniband materiaal zou kwijt willen. Dan is dat misschien nog een interessantere oplossing dan extra 1gigabit nic's bij te kopen..
CharlieRoot
29/06/15, 16:37
Maar toch, als er iemand goedkoop 10G / Infiniband materiaal zou kwijt willen. Dan is dat misschien nog een interessantere oplossing dan extra 1gigabit nic's bij te kopen..
Kijk eens naar de HP5800 series, de 10g modules zijn zeer betaalbaar.
Het klinkt niet super high end, maar wij hebben 2 stuks netgear 12 poorts 10gb-T switches (2 combo SFP+ poorten) en eigenlijk doen die het meer dan prima, en voor een poortprijs van ongeveer 100 euro per poort vind ik ze nog erg betaalbaar ook.
36-poorts QDR (40Gb) voor < EUR 600?
http://www.ebay.nl/itm/Qlogic-12200-36-Port-QDR-Infiniband-Switch-12200-CH01-220058-004-C-/201376193577