Resultaten 31 tot 45 van de 52
Pagina 3 van de 4 Eerste 1 2 3 4 LaatsteLaatste

Onderwerp: Ceph als SAN

  1. #31
    Ceph als SAN
    geregistreerd gebruiker
    505 Berichten
    Ingeschreven
    26/01/10

    Locatie
    Zierikzee

    Post Thanks / Like
    Mentioned
    11 Post(s)
    Tagged
    0 Thread(s)
    12 Berichten zijn liked


    Naam: Peter
    Bedrijf: WebhostNow
    URL: www.webhostnow.nl
    Registrar SIDN: NEE
    ISPConnect: Lid
    KvK nummer: 20169256

    Citaat Oorspronkelijk geplaatst door SF-Jeroen Bekijk Berichten
    10 Gbps is wel een must. Wij hadden elke Ceph node met 2x 10 Gbps uitgerust en elke hypervisor met 4x 10 Gbps (apart storage netwerk). De switches onderling met 2x 40 Gbps. Wanneer Ceph gaat recoveren trek je de links zo vol.
    Oke, ik vernam ook dat de latency met glas een groot verschil kan maken. Goed om te weten dat Ceph die links flink zal benutten.

    Voor de SSD; hebben jullie hier zowel journal als OS op staan? Als ik een server heb met ruimte voor vier 3.5" disks, kan ik drie benutten voor Ceph storage en dan één voor een SSD (OS+journaal).

  2. #32
    Ceph als SAN
    3.810 Berichten
    Ingeschreven
    16/05/04

    Locatie
    Middelburg

    Post Thanks / Like
    Mentioned
    4 Post(s)
    Tagged
    0 Thread(s)
    130 Berichten zijn liked


    Registrar SIDN: Ja

    Citaat Oorspronkelijk geplaatst door Peter Bin Bekijk Berichten
    Bedankt voor de informatie!

    Heb je al die servers met 2x 10 Gbit aangesloten?
    Ja, alles is 10Gbit.

    Citaat Oorspronkelijk geplaatst door Peter Bin Bekijk Berichten
    Bedankt voor de informatie!

    Heb je al die servers met 2x 10 Gbit aangesloten?
    En vooral latency. De Latency over 10G is ongeveer 3 tot 4x lager dan via 1G. Dat is wat je wil.

  3. #33
    Ceph als SAN
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door SF-Jeroen Bekijk Berichten
    10 Gbps is wel een must. Wij hadden elke Ceph node met 2x 10 Gbps uitgerust en elke hypervisor met 4x 10 Gbps (apart storage netwerk). De switches onderling met 2x 40 Gbps. Wanneer Ceph gaat recoveren trek je de links zo vol.
    Wij draaien alle ceph nodes nu met 4x 1Gbps en tot op heden nog geen enkele issue mee gehad. Hangt natuurlijk wel van het aantal nodes af. Heb je ergens een voorbeeld van de performance winst als je naar 10Gbps gaat? Onze nodes komen nooit boven 2-3 Gbit aan traffic uit (nu)
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  4. #34
    Ceph als SAN
    3.810 Berichten
    Ingeschreven
    16/05/04

    Locatie
    Middelburg

    Post Thanks / Like
    Mentioned
    4 Post(s)
    Tagged
    0 Thread(s)
    130 Berichten zijn liked


    Registrar SIDN: Ja

    Citaat Oorspronkelijk geplaatst door CharlieRoot Bekijk Berichten
    Wij draaien alle ceph nodes nu met 4x 1Gbps en tot op heden nog geen enkele issue mee gehad. Hangt natuurlijk wel van het aantal nodes af. Heb je ergens een voorbeeld van de performance winst als je naar 10Gbps gaat? Onze nodes komen nooit boven 2-3 Gbit aan traffic uit (nu)
    Latency, latency, latency. Dat is het hele verhaal. Bandbreedte is niet zo boeiend, latency wel. Hoe lager, hoe beter

  5. #35
    Ceph als SAN
    geregistreerd gebruiker
    142 Berichten
    Ingeschreven
    09/07/08

    Locatie
    Alkmaar

    Post Thanks / Like
    Mentioned
    8 Post(s)
    Tagged
    0 Thread(s)
    2 Berichten zijn liked


    Naam: Tom Admiraal
    Registrar SIDN: ja
    KvK nummer: 37122412
    Ondernemingsnummer: nvt

    Dit is een hele mooie topic! Er wordt veel over de disken gesproken en wat hierbij gebruikt wordt, maar wat ik mis is het netwerk gedeelte. Vandaar mijn volgende vraag:

    Wat voor nics en switches gebruiken jullie? Gestacked?

    Zelf zijn we bezig met het uitrollen van een ceph-clustertje met 22 osd nodes, 44 disken, 3 monitoring nodes en 1 management node.

    Op dit moment gaat dit over 2gbit per node. Kan uitgebreid worden naar 4gbit of naar 10gbit. Waar ik hier bijvoorbeeld mee zit is het aantal switchpoorten en hoe dit het beste opgesteld kan worden. Momenteen heb ik hiervoor 2x 48 poorten gestacked.
    @Wido & @SF-Jeroen , wat voor hardware gebruiken jullie voor het netwerk?
    @CharlieRoot , hoe heb jij je gbit netwerk opgesteld?

  6. #36
    Ceph als SAN
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door tomadmiraal Bekijk Berichten
    @CharlieRoot , hoe heb jij je gbit netwerk opgesteld?
    Dat is nogal een vraag. Welk deel? :-)
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  7. #37
    Ceph als SAN
    Internet Services
    3.204 Berichten
    Ingeschreven
    27/03/06

    Locatie
    Utrecht

    Post Thanks / Like
    Mentioned
    14 Post(s)
    Tagged
    0 Thread(s)
    43 Berichten zijn liked


    Naam: Jeroen
    View nl.linkedin.com/in/jeroenvheugten's profile on LinkedIn

    Wij gebruiken Huawei CloudEngine CE6810-48S4Q-EI switches, deze zijn uitgerust met 48x 10 Gbps SFP+ poorten en 4x 40 Gbps QSFP+. Kosten de helft van een Juniper EX4550. Absoluut een aanrader, we hebben ze al maanden onder full load in productie hangen, nog geen enkele issue gezien. Wat betreft NICs, deze zijn vooral Intel 82599 gebaseerd.

  8. #38
    Ceph als SAN
    3.810 Berichten
    Ingeschreven
    16/05/04

    Locatie
    Middelburg

    Post Thanks / Like
    Mentioned
    4 Post(s)
    Tagged
    0 Thread(s)
    130 Berichten zijn liked


    Registrar SIDN: Ja

    Citaat Oorspronkelijk geplaatst door tomadmiraal Bekijk Berichten
    Dit is een hele mooie topic! Er wordt veel over de disken gesproken en wat hierbij gebruikt wordt, maar wat ik mis is het netwerk gedeelte. Vandaar mijn volgende vraag:

    Wat voor nics en switches gebruiken jullie? Gestacked?

    Zelf zijn we bezig met het uitrollen van een ceph-clustertje met 22 osd nodes, 44 disken, 3 monitoring nodes en 1 management node.

    Op dit moment gaat dit over 2gbit per node. Kan uitgebreid worden naar 4gbit of naar 10gbit. Waar ik hier bijvoorbeeld mee zit is het aantal switchpoorten en hoe dit het beste opgesteld kan worden. Momenteen heb ik hiervoor 2x 48 poorten gestacked.
    @Wido & @SF-Jeroen , wat voor hardware gebruiken jullie voor het netwerk?
    @CharlieRoot , hoe heb jij je gbit netwerk opgesteld?
    Ik werk veelal als Ceph consultant, bijna de hele week door, dus ik heb nogal wat Ceph cluster gebouwd. Van enkele nodes tot honderden nodes groot.

    Welke hardware? SuperMicro, Dell, HP, allemaal gebruikt. Switching zelfde, Cisco, Dell, Extreme Networks, Brocade, ook allemaal gezien.

    Ik herhaal het nog een keer: latency, daar wil je op letten. Ook je failure domains. Verspreid je replica's in Ceph over failure domains.

  9. #39
    Ceph als SAN
    geregistreerd gebruiker
    142 Berichten
    Ingeschreven
    09/07/08

    Locatie
    Alkmaar

    Post Thanks / Like
    Mentioned
    8 Post(s)
    Tagged
    0 Thread(s)
    2 Berichten zijn liked


    Naam: Tom Admiraal
    Registrar SIDN: ja
    KvK nummer: 37122412
    Ondernemingsnummer: nvt

    Citaat Oorspronkelijk geplaatst door CharlieRoot Bekijk Berichten
    Dat is nogal een vraag. Welk deel? :-)
    Het gedeelte van het netwerk tussen de cephnodes

    Wat voor switches heb je er tussen hangen en hoe zijn deze opgesteld? maak je gebruik van pair bonding?

  10. #40
    Ceph als SAN
    geregistreerd gebruiker
    142 Berichten
    Ingeschreven
    09/07/08

    Locatie
    Alkmaar

    Post Thanks / Like
    Mentioned
    8 Post(s)
    Tagged
    0 Thread(s)
    2 Berichten zijn liked


    Naam: Tom Admiraal
    Registrar SIDN: ja
    KvK nummer: 37122412
    Ondernemingsnummer: nvt

    Citaat Oorspronkelijk geplaatst door SF-Jeroen Bekijk Berichten
    Wij gebruiken Huawei CloudEngine CE6810-48S4Q-EI switches, deze zijn uitgerust met 48x 10 Gbps SFP+ poorten en 4x 40 Gbps QSFP+. Kosten de helft van een Juniper EX4550. Absoluut een aanrader, we hebben ze al maanden onder full load in productie hangen, nog geen enkele issue gezien. Wat betreft NICs, deze zijn vooral Intel 82599 gebaseerd.
    Dank je voor de info. dat ziet er inderdaad netjes uit. Ik begrijp dat jullie alles over glas hebben lopen.

    Zit er veel verschil tussen 10gbps over glas en over koper?

    Ik neem aan dat je de switches redundant hebt opgesteld. heb je deze gestackt?

  11. #41
    Ceph als SAN
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door tomadmiraal Bekijk Berichten
    Het gedeelte van het netwerk tussen de cephnodes

    Wat voor switches heb je er tussen hangen en hoe zijn deze opgesteld? maak je gebruik van pair bonding?
    Op dit moment:
    2x HP 5800 switches als stack (20G tussen de twee)

    Alle servers aangesloten met:
    4x 1Gbps op de twee stacked switches. Hierdoor kunnen we 4Gbps benutten maar bij uitval is altijd nog 2Gbps beschikbaar.
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  12. #42
    Ceph als SAN
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    Ik heb zelf nog niet met Ceph gespeeld maar er al veel over gelezen..
    Maar door het feit dat je zoveel nodes nodig hebt, wordt het toch ook een dure grap qua hardware , stroom en colocatie van het geheel? Of wordt dat dan weer goedgemaakt omdat het zo goed is ?
    Xenius.be | Our solutions, our products, your success !

  13. #43
    Ceph als SAN
    Internet Services
    3.204 Berichten
    Ingeschreven
    27/03/06

    Locatie
    Utrecht

    Post Thanks / Like
    Mentioned
    14 Post(s)
    Tagged
    0 Thread(s)
    43 Berichten zijn liked


    Naam: Jeroen
    View nl.linkedin.com/in/jeroenvheugten's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door tomadmiraal Bekijk Berichten
    Dank je voor de info. dat ziet er inderdaad netjes uit. Ik begrijp dat jullie alles over glas hebben lopen.

    Zit er veel verschil tussen 10gbps over glas en over koper?

    Ik neem aan dat je de switches redundant hebt opgesteld. heb je deze gestackt?
    Ik heb geen ervaring met 10 Gbps over koper, dus dat antwoord moet ik je schuldig blijven. De switches zijn inderdaad gestacked, maar ze ondersteunen ook MLAG. Het is dat we alle andere switches ook als stack hebben draaien, maar anders was ik voor MLAG gegaan. Vooral omdat Juniper (die we ook een hoop hebben) NSSU "toch niet helemaal" blijkt te ondersteunen.

    @bibawa : Als je nu maar een paar servertjes hebt is het inderdaad duur, maar als je nu al tientallen racks hebt met dure storage appliances dan is het juist heel goedkoop, en belangrijker: schaalbaar. Je NetApp / ZFS server schaalt namelijk niet door qua performance (en maar tot een bepaald getal als je kijkt naar capaciteit.). Ook qua redundancy zit je beter met Ceph. Dus eigenlijk 3 voordelen Overigens is het idee van Ceph dat je zo goedkoop mogelijke hardware gebruikt (maar wel met 2 voedingen!).
    Laatst gewijzigd door SF-Jeroen; 13/12/15 om 20:08.

  14. #44
    Ceph als SAN
    geregistreerd gebruiker
    505 Berichten
    Ingeschreven
    26/01/10

    Locatie
    Zierikzee

    Post Thanks / Like
    Mentioned
    11 Post(s)
    Tagged
    0 Thread(s)
    12 Berichten zijn liked


    Naam: Peter
    Bedrijf: WebhostNow
    URL: www.webhostnow.nl
    Registrar SIDN: NEE
    ISPConnect: Lid
    KvK nummer: 20169256

    Citaat Oorspronkelijk geplaatst door SF-Jeroen Bekijk Berichten
    Ik heb geen ervaring met 10 Gbps over koper, dus dat antwoord moet ik je schuldig blijven. De switches zijn inderdaad gestacked, maar ze ondersteunen ook MLAG. Het is dat we alle andere switches ook als stack hebben draaien, maar anders was ik voor MLAG gegaan. Vooral omdat Juniper (die we ook een hoop hebben) NSSU "toch niet helemaal" blijkt te ondersteunen.

    @bibawa : Als je nu maar een paar servertjes hebt is het inderdaad duur, maar als je nu al tientallen racks hebt met dure storage appliances dan is het juist heel goedkoop, en belangrijker: schaalbaar. Je NetApp / ZFS server schaalt namelijk niet door qua performance (en maar tot een bepaald getal als je kijkt naar capaciteit.). Ook qua redundancy zit je beter met Ceph. Dus eigenlijk 3 voordelen Overigens is het idee van Ceph dat je zo goedkoop mogelijke hardware gebruikt (maar wel met 2 voedingen!).
    Ik vraag me af waarom er zo wordt gehamerd op twee voedingen. Als er een node uitvalt, is dat toch niet zo erg?

  15. #45
    Ceph als SAN
    geregistreerd gebruiker
    142 Berichten
    Ingeschreven
    09/07/08

    Locatie
    Alkmaar

    Post Thanks / Like
    Mentioned
    8 Post(s)
    Tagged
    0 Thread(s)
    2 Berichten zijn liked


    Naam: Tom Admiraal
    Registrar SIDN: ja
    KvK nummer: 37122412
    Ondernemingsnummer: nvt

    Citaat Oorspronkelijk geplaatst door Peter Bin Bekijk Berichten
    Ik vraag me af waarom er zo wordt gehamerd op twee voedingen. Als er een node uitvalt, is dat toch niet zo erg?
    Een node die uitvalt is niet erg. Maar als de helft van je cluster uitvalt is dat een ander verhaal. Dus tenzij je 30 verschillende feeds hebt, is het nadig om 2 voedingen te hebben....

Pagina 3 van de 4 Eerste 1 2 3 4 LaatsteLaatste

Labels voor dit Bericht

Webhostingtalk.nl

Contact

  • Rokin 113-115
  • 1012 KP, Amsterdam
  • Nederland
  • Contact
© Copyright 2001-2021 Webhostingtalk.nl.
Web Statistics