Onderwerp: Mysql cluster vs. dedicated db setup

MySQL Cluster.

Voordeel: lekker schaalbaar
Nadeel: verplicht ndbcluster engine gebruiken, niet alle functies worden ondersteund.

Dedicated oplossing:
Voordeel: easy, met een paar master-master en/of master-slave setupjes kom je al een heel eind.
Nadeel: schaalt imho beperkt met betrekking tot db writes

Dus de vraag "hoe doen jullie het?" komt al snel op.

Om een voorzet te geven: Momenteel gebruik ik voor een marktplaats 2 loadbalancers, 8 webservers met een cluster filesystem om de www data e.d. te sharen, 4 memcached server om php sessies in te mikken en de mysql cluster versie met 4 sql nodes.

Dus wat knutselen jullie om bv 50.000 writes p/s te ondersteunen voor, laten we zeggen, max 5 minuten? (Maar dan wel met volle ondersteuning van mysql functionaliteit waar onder ook de myisam en innodb engines e.d.)
Ergens verwacht ik als antwoord al 'een dozijn ssd's in raid 10' of zo maar, alhoewel dat helemaal geen gekke oplossing is, zoek ik toch iets anders

50k writes per seconde hangt wat af van welke writes dat exact zijn.

Er zijn twee pistes mogelijk in dergelijke gevallen - ofwel gaat de code/applicatie db-aware gemaakt worden, en worden de writes bvb eerst naar een memory-table geschreven, en daarna naar een permanente table door een maintenance job. Je kan ook de queries gaan bufferen, ofzo. Als het updates zijn aan records, gaat dat natuurlijk niet.

Een tweede piste is om de developers helemaal vrij te laten, en dan moet je inderdaad je infra gaan schalen dat het volgt. SSD disks en multi-master omgevingen met de nodige balancers/proxies voor komen hier dan inderdaad opduiken, of sharding/partitioning.

Alles hangt een beetje af van de situatie. Van mysql cluster (ndb) ben ik niet zo hard overtuigd.

Het verst raak je volgens mij wel als de developers zeer goed weten wat erachter steekt, en intelligente caching voor je site. (en als het gaat over log-entries of iets gelijkaardigs in de DB moeten de developers op training).

Ik zou ook zeggen sharding/partitioning, al moet de data laag in de applicatie daar wel mee overweg kunnen, maar goed, als je voor dit soort dingen ontwikkelt hou je daar al rekening mee (nouja, zou moeten...).

Alhoewel ik voor sites die ik zelf ontwikkel zeker de mogelijkheid heb om met alles rekening te houden (anders was ik nooit aan NDB begonnen natuurlijk), kan ik dat van de gem. klant/programmeur niet verwachten. Ik ben al een 'eeuwigheid' programmeur en hoster dus ik heb sowieso al 2 petten op. Voor mezelf kan ik me elke oplossing knutselen.

Maar veel mensen willen alleen hun da/plesk en hun ding doen.
Ik zie behoorlijk wat voordelen om die op een fully clustered omgeving te zetten, maar voor normale webklanten kan ik waarschijnlijk niet veel verder gaan dan puur hun vpssen op een fs cluster zetten?

Mijn ervaringen met MySQL Cluster (ndb) zijn postitief wat betreft stabiliteit (zolang de interconnects uiteraard blijven leven), maar performance is een heel ander verhaal. In mijn setups is innodb toch altijd stukke sneller gebleken.

Daarnaast zit NDB volledig in het geheugen dus je heb best wat nodig afhankelijk van de size van je db (Tegenwoordig kunnen niet geindexeerde kollommen wel op disk worden opgeslagen) en toch minimaal 5 servers (2 data nodes, 1 management node, 2 api nodes) om een beetje redundant te zijn.

ssd's in raid 10? Nee joh niet nodig, hier lukt het ook wel mee http://www.oracle.com/us/products/se...age/index.html ;-)

Misschien kun je uit de voeten met iets als MongoDB? Moet je waarschijnlijk wel het een en ander omcoden, maar ze zeggen dat het keihard kan.

Mongodb is leuk, maar ik zou graag iets hebben dat goed schaalbaar is, terwijl wel 'normale' mysql installaties en gebruik ervan mogelijk zijn.
Ben er nog niet helemaal uit wat het moet worden.

Het is toch een multi master setup geworden omdat dit meer in het grote geheel past. Ik heb nu een systeem waarmee ik binnen enkele minuten een cluster van (desnoods) honderden servers kan opzetten. Hierbij worden loadbalancers, het filesystemcluster, webcluster, mysqlcluster en memcachecluster helemaal automatisch geconfigureerd (en aangepast indien de load ergens in een deel oploopt).
Voor specifieke code heb ik een een soort 'code relocation' ding bedacht om bepaalde onderdelen van een site ook nog eens over meerdere servers te verdelen (imports en exports van advertenties, stats berekenen, thumbs maken e.d.).
Een hele kluif maar het is wel een generieke opzet gebleven, dus niet specifiek voor de marktplaats.