Likes Likes:  0
Resultaten 1 tot 15 van de 21
Pagina 1 van de 2 1 2 LaatsteLaatste

Onderwerp: SQL cluster

  1. #1
    SQL cluster
    geregistreerd gebruiker
    8 Berichten
    Ingeschreven
    06/10/08

    Locatie
    nvt

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Registrar SIDN: nee
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    Thread Starter

    SQL cluster

    Hallo,

    Momenteel heb ik een website lopen waar erg veel bezoek op zit. Dit bezoek maakt vele acties op de database, waardoor de server geregeld vast loopt. Alle queries zijn al behoorlijk goed geoptimaliseerd en de database is geheel voor eigen gebruik. Nu ben ik aan het zoeken naar een geschikte oplossing voor dit probleem en dan kom ik uit op database clustoring.

    Afgelopen weekend heb ik een testcluster laten opzetten met MySQL, maar na wat testen kwam naar voren dat een MySQL cluster niet geschikt is voor complexe queries of queries met JOINS erin. Helaas gebruik ik veel queries met JOINS. Deze queries kan ik helaas niet allemaal omschrijven zodat er geen JOINS meer nodig zijn..

    Nu moet ik dus verder zoeken naar andere oplossingen, die voor mij geschikt zijn. Echter weet ik niet waar ik moet beginnen. Hopelijk kunnen jullie mij tips geven wat een goede oplossing voor mij is.

    Ik heb de volgende voorwaarden:
    -Schaalbaarheid, makkelijk een server/node toevoegen
    -Redundant, valt 1 systeem weg, dan moeten de andere het opvangen
    -Snel, ook queries met JOINS of een complexere opbouw moeten snel afgehandeld worden.

    Dit project heeft nog geen budget, maar dit zal ook niet erg groot worden.

    Alvast bedankt voor het advies!

  2. #2
    SQL cluster
    geregistreerd gebruiker
    1.080 Berichten
    Ingeschreven
    10/04/03

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    13 Post(s)
    Tagged
    0 Thread(s)
    72 Berichten zijn liked


    Naam: Dreas van Donselaar
    Registrar SIDN: Ja
    Ondernemingsnummer: nvt
    TrustCloud: dreas

    Heb je veel read of juist veel write acties? Een master-->slave setup kan handig zijn als je veel reads hebt.

  3. #3
    SQL cluster
    geregistreerd gebruiker
    8 Berichten
    Ingeschreven
    06/10/08

    Locatie
    nvt

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Registrar SIDN: nee
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    Thread Starter
    Beide acties worden ongeveer evenveel gebruikt. Zo ver ik weet is een master / slave optie ook niet echt schaalbaar? Als ik het goed heb heeft deze oplossing ook te maken met delays, welke ik voor mijn applicatie niet kan gebruiken.

  4. #4
    SQL cluster
    geregistreerd gebruiker
    6.040 Berichten
    Ingeschreven
    23/10/04

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    2 Post(s)
    Tagged
    0 Thread(s)
    171 Berichten zijn liked


    Functie: Systems Engineer
    URL: weblog.aklmedia.nl
    View randytenhave's profile on LinkedIn

    Een Master-slave optie is zeker wel schaalbaar. Ik heb deze onlangs voor een van de grootste webshops van Nederland moeten bouwen. Een proxy, een master server en 2 slaves. Ik moet wel zeggen dat het 80% readq's waren. Er draait nog een single webserver op, dus dat is het volgende dat opgeschaald moet worden. Maar mocht de capaciteit weer een probleem geven, is het enkel een (3e) slave erbij hangen,

  5. #5
    SQL cluster
    moderator
    4.784 Berichten
    Ingeschreven
    04/11/05

    Locatie
    Gent

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    12 Berichten zijn liked


    Registrar SIDN: ja
    KvK nummer: nvt
    Ondernemingsnummer: 0475284162

    heb je info over het aantal Q's per seconde? Over de grootte van je dataset? En wat gebeurt er precies als de database "vastloopt"?



  6. #6
    SQL cluster
    geregistreerd gebruiker
    8 Berichten
    Ingeschreven
    06/10/08

    Locatie
    nvt

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Registrar SIDN: nee
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    Thread Starter
    Op het drukste moment (+-5 uur lang) lopen er ongeveer 1000 queries per seconde, met pieken naar 1500/2000 queries per seconde. De database is ongeveer 5Gb groot.

    Vanmorgen zijn we overgestapt naar een zwaardere server, maar dit is helaas maar een tijdelijke oplossing. Als deze server offline valt dan hebben we geen andere server die de load kan opvangen.

  7. #7
    SQL cluster
    geregistreerd gebruiker
    941 Berichten
    Ingeschreven
    08/08/06

    Locatie
    Doetinchem

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    17 Berichten zijn liked


    Registrar SIDN: Ja
    KvK nummer: 09129344
    Ondernemingsnummer: nvt

    Op zich zin 2000 query's niet zo bijzonder, dat doe ik ook op een VM. Kijk naast je cluster of master/slave oplossing ook 'ns goed naar je IO. Dat scheelt enorm.

  8. #8
    SQL cluster
    geregistreerd gebruiker
    8 Berichten
    Ingeschreven
    06/10/08

    Locatie
    nvt

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Registrar SIDN: nee
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    Thread Starter
    Klopt, die stats waren van de server waar we tot vanmorgen op draaide. Bovendien hadden we limieten ingesteld op de website waardoor er geen leden meer konden inloggen als het druk was. Dus het aantal queries per seconde zal wellicht veel meer zijn.

    Waar ik naar op zoek ben is een redundant systeem wat ook schaalbaar is. Wat bedoel je precies met de IO?

  9. #9
    SQL cluster
    Pr0jects Web Services
    464 Berichten
    Ingeschreven
    09/04/05

    Locatie
    Apeldoorn

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Registrar SIDN: Ja
    KvK nummer: 50702424
    Ondernemingsnummer: nvt

    Citaat Oorspronkelijk geplaatst door YardP Bekijk Berichten
    Klopt, die stats waren van de server waar we tot vanmorgen op draaide. Bovendien hadden we limieten ingesteld op de website waardoor er geen leden meer konden inloggen als het druk was. Dus het aantal queries per seconde zal wellicht veel meer zijn.

    Waar ik naar op zoek ben is een redundant systeem wat ook schaalbaar is. Wat bedoel je precies met de IO?
    De I/O is de lees/schrijf snelheid van je disks. Als je een 7.2k rpm SATA2 tegen over 15k rpm SAS zet, dan moet je wel weten wat ik bedoel..

    http://nl.wikipedia.org/wiki/I/O

    :-)

  10. #10
    SQL cluster
    45North Websolutions
    449 Berichten
    Ingeschreven
    02/05/07

    Locatie
    Gouda / Amsterdam

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Registrar SIDN: nee
    KvK nummer: 24400745 / 30213423
    Ondernemingsnummer: nvt

    Input/Ouput, dus je hardware en hoe je deze hardware gebruikt. RAID, SSD ?

  11. #11
    SQL cluster
    moderator
    4.784 Berichten
    Ingeschreven
    04/11/05

    Locatie
    Gent

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    12 Berichten zijn liked


    Registrar SIDN: ja
    KvK nummer: nvt
    Ondernemingsnummer: 0475284162

    hoe gedraagt de caching zich? is alles voldoende ruim ingesteld (key buffers, sort buffers)... worden er onnodige queries gedaan? Heb je je niet-indexed queries bekeken?

    Het lijkt me vreemd dat je met 1000 a 2000 queries per seconde zit voor één site; en dat dit een probleem vormt. Mijn ervaring doet me vermoeden dat je gewoon even moet investeren in een optimalisatie van de code en/of de tuning van de mysql.

  12. #12
    SQL cluster
    geregistreerd gebruiker
    8 Berichten
    Ingeschreven
    06/10/08

    Locatie
    nvt

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Registrar SIDN: nee
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    Thread Starter
    Server is goed geoptimaliseerd. De database en het script zijn ook ver geoptimaliseerd. Zo ver ik weet zitten in die server SAS schijfjes in een raid opstelling. Average I/O ligt tussen de -695 en + 1900. Daar moet ik erbij zeggen dat de hoge + wordt veroorzaakt door optimize processen die we 's nachts altijd laten draaien.

  13. #13
    SQL cluster
    geregistreerd gebruiker
    941 Berichten
    Ingeschreven
    08/08/06

    Locatie
    Doetinchem

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    17 Berichten zijn liked


    Registrar SIDN: Ja
    KvK nummer: 09129344
    Ondernemingsnummer: nvt

    Da's wel veel IO voor een paar SAS schijven hoor. Met veel geheugen en goede caching kun je dat omlaag brengen en anders moet je even kijken of je ergens snellere storage vandaan kunt trekken.

  14. #14
    SQL cluster
    geregistreerd gebruiker
    8 Berichten
    Ingeschreven
    06/10/08

    Locatie
    nvt

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Registrar SIDN: nee
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    Thread Starter
    Zoals vermeld zijn we nu over gestapt naar een betere server, deze is uitgerust met SSD schijven. Van deze server heb ik nog geen statistieken, dus daar valt nog niks over te zeggen.

    Als ik het goed heb dan zijn de volgende oplossingen mogelijk:
    master/slave constructie
    database clustoring

    daar heeft master/slave het nadeel dat het niet redundant is als de master weg valt en database clustoring heeft het nadeel dat complexe queries met joins vrijwel onmogelijk zijn.

  15. #15
    SQL cluster
    geregistreerd gebruiker
    1.913 Berichten
    Ingeschreven
    23/10/03

    Locatie
    Enschede (+ London)

    Post Thanks / Like
    Mentioned
    3 Post(s)
    Tagged
    0 Thread(s)
    33 Berichten zijn liked


    Naam: Max
    Registrar SIDN: ja
    KvK nummer: 08119406
    Ondernemingsnummer: -

    Citaat Oorspronkelijk geplaatst door YardP Bekijk Berichten
    Beide acties worden ongeveer evenveel gebruikt. Zo ver ik weet is een master / slave optie ook niet echt schaalbaar? Als ik het goed heb heeft deze oplossing ook te maken met delays, welke ik voor mijn applicatie niet kan gebruiken.
    Denk niet dat clusteren een oplossing voor je probleem is.
    Je eisen zijn hoog en geen van de veelgebruikte cluster methoden is uberhaupt geschikt om de performance te verhogen van toepassingen die veel writes hebben.


    Kortweg bestaan er de volgende methoden:

    - Asynchroon (MySQL replicatie, PostgreSQL met Slony, etc.)

    Mutaties worden naar de overige servers doorgestuurd, er wordt niet gewacht tot deze overal verwerkt zijn.
    De gegevens op de verschillende systemen kunnen dus iets achter lopen (delay).


    - Synchroon (PostgreSQL met pgpool)

    Mutaties worden op alle servers tegelijk uitgevoerd, en er wordt gewacht tot alle servers deze verwerkt hebben.
    De performance van writes is die van de traagste server in het cluster..


    - Gedistribueert

    Een deel van de gegevens staat op server 1, een ander deel op server 2, etc.
    Indien je gegevens nodig hebt die op meerdere systemen verspreid staan, wordt het er niet sneller op.
    En met veel joins is dat risico zeker aanwezig.


    Zo ver ik weet zitten in die server SAS schijfjes in een raid opstelling. Average I/O ligt tussen de -695 en + 1900.
    IO is erg hoog, terwijl je database slechts 5 GB is.
    Zorg dat er voldoende geheugen in de server zit (denk aan 8-16 GB).

Pagina 1 van de 2 1 2 LaatsteLaatste

Labels voor dit Bericht

Webhostingtalk.nl

Contact

  • Rokin 113-115
  • 1012 KP, Amsterdam
  • Nederland
  • Contact
© Copyright 2001-2018 Webhostingtalk.nl.
Web Statistics