Likes Likes:  0
Resultaten 1 tot 8 van de 8
Geen
  1. #1
    Mysql cluster vs. dedicated db setup
    Programmeur / Hoster
    3.952 Berichten
    Ingeschreven
    20/06/06

    Locatie
    Wijlre

    Post Thanks / Like
    Mentioned
    28 Post(s)
    Tagged
    0 Thread(s)
    647 Berichten zijn liked


    Naam: John Timmer
    Bedrijf: SystemDeveloper.NL
    Functie: Eigenaar
    URL: www.systemdeveloper.nl
    KvK nummer: 14083066
    View johntimmer's profile on LinkedIn

    Thread Starter

    Mysql cluster vs. dedicated db setup

    MySQL Cluster.

    Voordeel: lekker schaalbaar
    Nadeel: verplicht ndbcluster engine gebruiken, niet alle functies worden ondersteund.

    Dedicated oplossing:
    Voordeel: easy, met een paar master-master en/of master-slave setupjes kom je al een heel eind.
    Nadeel: schaalt imho beperkt met betrekking tot db writes

    Dus de vraag "hoe doen jullie het?" komt al snel op.

    Om een voorzet te geven: Momenteel gebruik ik voor een marktplaats 2 loadbalancers, 8 webservers met een cluster filesystem om de www data e.d. te sharen, 4 memcached server om php sessies in te mikken en de mysql cluster versie met 4 sql nodes.

    Dus wat knutselen jullie om bv 50.000 writes p/s te ondersteunen voor, laten we zeggen, max 5 minuten? (Maar dan wel met volle ondersteuning van mysql functionaliteit waar onder ook de myisam en innodb engines e.d.)
    Ergens verwacht ik als antwoord al 'een dozijn ssd's in raid 10' of zo maar, alhoewel dat helemaal geen gekke oplossing is, zoek ik toch iets anders
    SystemDeveloper.NL - 64BitsWebhosting.EU : Softwareontwikkeling & Hosting freaks

  2. #2
    Mysql cluster vs. dedicated db setup
    moderator
    4.784 Berichten
    Ingeschreven
    04/11/05

    Locatie
    Gent

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    12 Berichten zijn liked


    Registrar SIDN: ja
    KvK nummer: nvt
    Ondernemingsnummer: 0475284162

    50k writes per seconde hangt wat af van welke writes dat exact zijn.

    Er zijn twee pistes mogelijk in dergelijke gevallen - ofwel gaat de code/applicatie db-aware gemaakt worden, en worden de writes bvb eerst naar een memory-table geschreven, en daarna naar een permanente table door een maintenance job. Je kan ook de queries gaan bufferen, ofzo. Als het updates zijn aan records, gaat dat natuurlijk niet.

    Een tweede piste is om de developers helemaal vrij te laten, en dan moet je inderdaad je infra gaan schalen dat het volgt. SSD disks en multi-master omgevingen met de nodige balancers/proxies voor komen hier dan inderdaad opduiken, of sharding/partitioning.

    Alles hangt een beetje af van de situatie. Van mysql cluster (ndb) ben ik niet zo hard overtuigd.

    Het verst raak je volgens mij wel als de developers zeer goed weten wat erachter steekt, en intelligente caching voor je site. (en als het gaat over log-entries of iets gelijkaardigs in de DB moeten de developers op training).

  3. #3
    Mysql cluster vs. dedicated db setup
    geregistreerd gebruiker
    3.705 Berichten
    Ingeschreven
    26/11/05

    Locatie
    Duivendrecht

    Post Thanks / Like
    Mentioned
    1 Post(s)
    Tagged
    0 Thread(s)
    27 Berichten zijn liked


    Naam: Gert Jan
    KvK nummer: 34272910

    Ik zou ook zeggen sharding/partitioning, al moet de data laag in de applicatie daar wel mee overweg kunnen, maar goed, als je voor dit soort dingen ontwikkelt hou je daar al rekening mee (nouja, zou moeten...).

  4. #4
    Mysql cluster vs. dedicated db setup
    Programmeur / Hoster
    3.952 Berichten
    Ingeschreven
    20/06/06

    Locatie
    Wijlre

    Post Thanks / Like
    Mentioned
    28 Post(s)
    Tagged
    0 Thread(s)
    647 Berichten zijn liked


    Naam: John Timmer
    Bedrijf: SystemDeveloper.NL
    Functie: Eigenaar
    URL: www.systemdeveloper.nl
    KvK nummer: 14083066
    View johntimmer's profile on LinkedIn

    Thread Starter
    Alhoewel ik voor sites die ik zelf ontwikkel zeker de mogelijkheid heb om met alles rekening te houden (anders was ik nooit aan NDB begonnen natuurlijk), kan ik dat van de gem. klant/programmeur niet verwachten. Ik ben al een 'eeuwigheid' programmeur en hoster dus ik heb sowieso al 2 petten op. Voor mezelf kan ik me elke oplossing knutselen.

    Maar veel mensen willen alleen hun da/plesk en hun ding doen.
    Ik zie behoorlijk wat voordelen om die op een fully clustered omgeving te zetten, maar voor normale webklanten kan ik waarschijnlijk niet veel verder gaan dan puur hun vpssen op een fs cluster zetten?
    SystemDeveloper.NL - 64BitsWebhosting.EU : Softwareontwikkeling & Hosting freaks

  5. #5
    Mysql cluster vs. dedicated db setup
    geregistreerd gebruiker
    478 Berichten
    Ingeschreven
    24/11/05

    Locatie
    Almere

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    1 Berichten zijn liked



    Mijn ervaringen met MySQL Cluster (ndb) zijn postitief wat betreft stabiliteit (zolang de interconnects uiteraard blijven leven), maar performance is een heel ander verhaal. In mijn setups is innodb toch altijd stukke sneller gebleken.

    Daarnaast zit NDB volledig in het geheugen dus je heb best wat nodig afhankelijk van de size van je db (Tegenwoordig kunnen niet geindexeerde kollommen wel op disk worden opgeslagen) en toch minimaal 5 servers (2 data nodes, 1 management node, 2 api nodes) om een beetje redundant te zijn.

    ssd's in raid 10? Nee joh niet nodig, hier lukt het ook wel mee http://www.oracle.com/us/products/se...age/index.html ;-)



  6. #6
    Mysql cluster vs. dedicated db setup
    geregistreerd gebruiker
    38 Berichten
    Ingeschreven
    21/08/08

    Locatie
    Ede

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Registrar SIDN: nee
    KvK nummer: 09218193
    Ondernemingsnummer: nvt

    Misschien kun je uit de voeten met iets als MongoDB? Moet je waarschijnlijk wel het een en ander omcoden, maar ze zeggen dat het keihard kan.

  7. #7
    Mysql cluster vs. dedicated db setup
    Programmeur / Hoster
    3.952 Berichten
    Ingeschreven
    20/06/06

    Locatie
    Wijlre

    Post Thanks / Like
    Mentioned
    28 Post(s)
    Tagged
    0 Thread(s)
    647 Berichten zijn liked


    Naam: John Timmer
    Bedrijf: SystemDeveloper.NL
    Functie: Eigenaar
    URL: www.systemdeveloper.nl
    KvK nummer: 14083066
    View johntimmer's profile on LinkedIn

    Thread Starter
    Mongodb is leuk, maar ik zou graag iets hebben dat goed schaalbaar is, terwijl wel 'normale' mysql installaties en gebruik ervan mogelijk zijn.
    Ben er nog niet helemaal uit wat het moet worden.
    SystemDeveloper.NL - 64BitsWebhosting.EU : Softwareontwikkeling & Hosting freaks

  8. #8
    Mysql cluster vs. dedicated db setup
    Programmeur / Hoster
    3.952 Berichten
    Ingeschreven
    20/06/06

    Locatie
    Wijlre

    Post Thanks / Like
    Mentioned
    28 Post(s)
    Tagged
    0 Thread(s)
    647 Berichten zijn liked


    Naam: John Timmer
    Bedrijf: SystemDeveloper.NL
    Functie: Eigenaar
    URL: www.systemdeveloper.nl
    KvK nummer: 14083066
    View johntimmer's profile on LinkedIn

    Thread Starter
    Het is toch een multi master setup geworden omdat dit meer in het grote geheel past. Ik heb nu een systeem waarmee ik binnen enkele minuten een cluster van (desnoods) honderden servers kan opzetten. Hierbij worden loadbalancers, het filesystemcluster, webcluster, mysqlcluster en memcachecluster helemaal automatisch geconfigureerd (en aangepast indien de load ergens in een deel oploopt).
    Voor specifieke code heb ik een een soort 'code relocation' ding bedacht om bepaalde onderdelen van een site ook nog eens over meerdere servers te verdelen (imports en exports van advertenties, stats berekenen, thumbs maken e.d.).
    Een hele kluif maar het is wel een generieke opzet gebleven, dus niet specifiek voor de marktplaats.
    SystemDeveloper.NL - 64BitsWebhosting.EU : Softwareontwikkeling & Hosting freaks

Webhostingtalk.nl

Contact

  • Rokin 113-115
  • 1012 KP, Amsterdam
  • Nederland
  • Contact
© Copyright 2001-2021 Webhostingtalk.nl.
Web Statistics