Bekijk Volledige Versie : Nieuwe server, advies graag
Goed, momenteel staat mijn server bijna op instorten doordat MySQL erg veel vraagt op het moment. Ik heb mijn website zoveel mogelijk geoptimaliseerd door zo weinig mogelijk MySQL te gebruiken, en index in tabellen te plaatsen waar mogelijk. Daar ligt het dus niet aan.
Mijn website (www.marktplaza.nl) draai ik op mijn eigen server, SuperMicro 1u P4 2,4 , 1GB Ram, 2x IDE mirroring.
Soms met piekuren (zoals op dit tijdstip) heeft de server het erg moeilijk. Daarom moet ik wat nieuws hebben, en dat mag ook wel wat kosten.
Zelf zat ik te denken aan een Supermicro 2u, dual pentium 4 of XEON systeem met SCSI hdd's.
Graag wou ik van jullie wat tips hebben, waar ik op moet letten. Is XEON veel beter dan de normale P4?
Wat is een goede SCSI opstelling? Hoeveel Hdd's en welke raid?
Kan ik mijn huidige server het beste blijven gebruiken voor bijvoorbeeld alleen Apache, en dat ik de database op de nieuwe server laat draaien?
Of moet ik zoiets als Round Robin gaan gebruiken?
Bedankt!
Origineel geplaatst door rudy
Goed, momenteel staat mijn server bijna op instorten doordat MySQL erg veel vraagt op het moment. Ik heb mijn website zoveel mogelijk geoptimaliseerd door zo weinig mogelijk MySQL te gebruiken, en index in tabellen te plaatsen waar mogelijk. Daar ligt het dus niet aan.
Mijn website (www.marktplaza.nl) draai ik op mijn eigen server, SuperMicro 1u P4 2,4 , 1GB Ram, 2x IDE mirroring.
Soms met piekuren (zoals op dit tijdstip) heeft de server het erg moeilijk. Daarom moet ik wat nieuws hebben, en dat mag ook wel wat kosten.
Zelf zat ik te denken aan een Supermicro 2u, dual pentium 4 of XEON systeem met SCSI hdd's.
Graag wou ik van jullie wat tips hebben, waar ik op moet letten. Is XEON veel beter dan de normale P4?
Wat is een goede SCSI opstelling? Hoeveel Hdd's en welke raid?
Kan ik mijn huidige server het beste blijven gebruiken voor bijvoorbeeld alleen Apache, en dat ik de database op de nieuwe server laat draaien?
Of moet ik zoiets als Round Robin gaan gebruiken?
Bedankt!
Je kan bijv. je huidige server voor de database gebruiken.
Je kan voor Xeon of AMD Opteron gaan, ligt er een beetje aan wat je wilt.
Hoeveel traffiek de server trekt etc.
Dit bedoel ik:
Current Time: Sunday, 04-Jan-2004 20:30:57 CET
Restart Time: Sunday, 04-Jan-2004 16:25:01 CET
Parent Server Generation: 0
Server uptime: 4 hours 5 minutes 56 seconds
Total accesses: 1103395 - Total Traffic: 3.1 GB
CPU Usage: u1318.02 s731.508 cu2.94531 cs2.60156 - 13.9% CPU load
74.8 requests/sec - 223.1 kB/second - 3054 B/request
481 requests currently being processed, 42 idle servers
K_KWK_KWWKWWK_KKWKKW_WKWWWK_WKKKWWKWKKWWKWKK_KKKWW KKWKKKWWKWKKWW
K_KKKWKWKKKKWWWKKWWW_KKWWWKKWWKWKWK_KWWKKKKWK_WWKK KWWKKWWKWWKWKW
WWWKKKKWWWWWWWWK_KKKKWWKWKKWWWWWWKKKK_KWWKWWWWWWWK WWKWKKKWKWKWWW
WWWKWKW_KKK_WW__KWWWWWKWKWWKWWKKKKKWKKKK_WKKKW_WKK KKKKKWWWWWWWK_
KWKWWWKWKWW_KKKKW_WKK_KKKWKWWWKWKKWWKWWWWKKWWWWKWW WWKWWWW_WWKWWW
WKWWKKKWKWWKWWWKWW_KKWWWWWKKWWKKWKKKKKWKWWKWKWWKKW _WKK_WKKKKW_WW
_KWKWKWKKWKWWWWWWWWWWKKKW_KW_KWWKWWKKKKKWWWKWKKKWW WW_W_K_KKWWWKK
KWKKKWKKKKKWK_KWWWWW_KKKK__WKW_WKWWKWKW__KWW_KKWWW WKWWWKWKKKW_.K
.WKW.WWW.W.....W..W.........K....K.K.............. ..............
.................................................. ..............
.................................................. ..............
.................................................. ..............
.................................................. ..............
.................................................. ..............
.................................................. ..............
.................................................. ..............
denk dat je eerst moet bepalen wat de load veroorzaakt. Is dit apache dit processen niet kild of childs in de wacht heeft. Of is dit SQL indien het SQL is is de database al geoptimaliseerd dmv indices? Is dit gebeurd en is de db structuur optimaal, dan kan je overwegen om een aparte DB server op te zetten.
superior-is
04/01/04, 20:56
Origineel geplaatst door rudy
Kan ik mijn huidige server het beste blijven gebruiken voor bijvoorbeeld alleen Apache, en dat ik de database op de nieuwe server laat draaien?
Of moet ik zoiets als Round Robin gaan gebruiken?
Mij dunkt dat je inderdaad de nieuwe server als _aparte_ database gaat laten draaien en de huidige server het spul serveert. Als je inderdaad kiest voor xeon in combo met scsi, dan zal je wel wat performance verschillen zien. Later zou je ervoor kunnen kiezen om meerdere webservers en en database servers te gebruiken. Dat zou je dan via een roundrobin techniek kunnen opvangen.
Origineel geplaatst door Deimos
denk dat je eerst moet bepalen wat de load veroorzaakt. Is dit apache dit processen niet kild of childs in de wacht heeft. Of is dit SQL indien het SQL is is de database al geoptimaliseerd dmv indices? Is dit gebeurd en is de db structuur optimaal, dan kan je overwegen om een aparte DB server op te zetten.
Nee, niet apache, het is puur mysql. (had ik even moeten vertellen)
SQL is geoptimaliseerd, door naast indices ook zo weinig mogelijk mysql te gebruiken door advertenties "hard" weg te schrijven als html bestanden. Wel zie ik in "top" dat bij CPU states system soms ook op de "50%" zit. Mysql verbruikt dan vaak de rest.
Ik zou gaan voor een Intel PIV systeem met HT ( FSB 800Mhz ) of een single XEON. Als je ziet dat de single XEON het niet aankan kun je nog steeds een processor bijsteken indien je een correct moederbord kiest. Uiteraard, niet afwijken van Supermicro.
Je system gebruikt 50% cpu :S. Dan zou ik toch eens kijken welke processen dit zijn. Tevens de log files tijdig legen zodat apache deze niet openhoudt.
Origineel geplaatst door Deimos
Je system gebruikt 50% cpu :S. Dan zou ik toch eens kijken welke processen dit zijn. Tevens de log files tijdig legen zodat apache deze niet openhoudt.
hmmm.. gebruik wel de combined log formaat. Dit zal zeker ook veel "vreten"? Vooral met tail -f vliegt het voorbij
Kan dit beter eens uitschakelen, wel wordt de log elk uur geleegt om te verwerken in awstats.
Origineel geplaatst door PCDOC
Ik zou gaan voor een Intel PIV systeem met HT ( FSB 800Mhz ) of een single XEON. Als je ziet dat de single XEON het niet aankan kun je nog steeds een processor bijsteken indien je een correct moederbord kiest. Uiteraard, niet afwijken van Supermicro.
Dat is inderdaad wel een goeie. Is XEON veel beter dan een PIV? Ik heb hier geen ervaring mee.
Site verbruikt veel PHP en MySQL.
Ik zou de logs om de +/- 6 uur rotaten. En dan 's nachts alle logs van die dag parsen tot nieuwe stats. Verder waar wordt tail -f voor gebruikt en hoevaak wordt dit gebruikt en op welke bestanden (en dan doel ik vooral op de grootte).
Hallo Rudy,
Wat ik zou doen is een load balancer plaatsen tussen de 2 servers, je kan een server pool aanmaken voor de 2 servers en deze instellen op een load sharing stand. Bestanden laat je via Rsync updaten en mysql kan bijvoorbeeld via tools en software. Zo bevatten beide servers dezelfde data. Zo wordt je load verdeeld maar heb je toch een redundante opstelling.
Wat je ook kan doen (hebben wij ook gedaan) een aparte databaseserver bouwen (dual xeon 2.4 Ghz / 2 Gb DDR ECC / 4 x 32 Gb U320 SCSI hot-swap in Raid 5 met freebsd
Als je meer info wilt, dan hoor ik het wel leon@interxs.nl
Link:
http://www.mysql.com/newsletter/2003-04/a0000000157.html
Ik zou voor die opterons gaan. Die zijn erg degelijk.
Hebben we ook staan, AMD dual Opteron, is 64 bits proc en draait erg goed moet ik bekennen
Origineel geplaatst door Blurp
Hebben we ook staan, AMD dual Opteron, is 64 bits proc en draait erg goed moet ik bekennen
In wat voor een verdere configuratie/hardware is dat?
Dat is een http://www.appro.com/product/server_2128H.asp
Wat heb je allemaal meegecompiled in Apache mod_gzip, mod_php etc?
Over je logs; Heb je in je httpd.conf HostnameLookups off staan? Kan ook erg veel schelen..
Origineel geplaatst door rhoekman
Wat heb je allemaal meegecompiled in Apache mod_gzip, mod_php etc?
Over je logs; Heb je in je httpd.conf HostnameLookups off staan? Kan ook erg veel schelen..
Ja, ik gebruik mod_gzip, maar niet de mod_php module. Iets met apxs.
Hostnamelookups staan inderdaad uit.
Wat betreft de processoren ga ik voor Intel XEON. Ik heb altijd al intels gehad, dus daar blijf ik bij.. :D
Ik zal nog even wat samenstellen en hieronder posten.
Als je hulp nodig hebt, dan hoor ik het wel
Origineel geplaatst door Blurp
Bestanden laat je via Rsync updaten en mysql kan bijvoorbeeld via tools en software. Zo bevatten beide servers dezelfde data. Zo wordt je load verdeeld maar heb je toch een redundante opstelling.
Is het niet gemakelijker om InterMezzo of coda te gebruiken ipv Rsync?
Ok, zit te denken aan het volgende :
- SuperServer 6023P-8R http://www.supermicro.com/PRODUCT/SUPERServer/SuperServer6023P-8R.htm
- 2x Intel XEON (iets van 2,8)
- 2 GB RAM ( DDR 266, ECC, PC2100)
- 3x SCSI 36GB Seagate 15k RPM
Ff een paar vragen, de onboard SCSI controller ondersteund volgens mij alleen RAID 0 en 1.
Om raid-5 te gebruiken moet ik gebruik maken van de optionele Adaptec 2010S kaart. Is dat wat?
Kan ik ook nog een extra hdd erbij doen, en die als mirror over die 3 HDD's doen? Of is dat niet nodig met RAID-5?
Hoe meer hardeschijven hoe sneller?
Zit er nog veel verschil in geheugen modules? Bepaald merk, of waar ik op moet letten?
Corsair geheugen modules zijn erg goed
Die 2010S zou ik niet nemen, dan zou ik gaan voor de 2200S (dual channel)
Er zijn geruchten dat PostgreSQL vanaf versie 7.3 veel beter tegen zware belasting kan dan MySQL. Ik heb ergens een artikel gelezen van de lui van Sourceforge die dat hebben getest. Dus... misschien aandacht waard :)
Origineel geplaatst door MK1
Er zijn geruchten dat PostgreSQL vanaf versie 7.3 veel beter tegen zware belasting kan dan MySQL. Ik heb ergens een artikel gelezen van de lui van Sourceforge die dat hebben getest. Dus... misschien aandacht waard :)
Bedankt voor de tip, zal het eens bekijken,
wat ik ook zie met de tool "top" dat mijn systeem veel zit te swappen. zo'n 750 mb van de 1,5gb aan swap wordt gebruikt. Ik heb nu 1 GB geheugen, en heb net nog 1 GB meer besteld.
Zal eens kijken of dat nog goed gaat helpen.
Ik heb dat artikeltje gevonden (is nogal oud overigens), hier is de link:
http://www.phpbuilder.com/columns/tim20001112.php3
De tests werden uitgevoerd op een "quad-xeon 400 MHz machine with 1GB RAM".
Een vraagje, als je het hebt over je piekuren, aan hoeveel bezoekers zit je dan tegelijkertijd op je website?
(juist om een idee te hebben)
Thanks
Origineel geplaatst door cerb
Een vraagje, als je het hebt over je piekuren, aan hoeveel bezoekers zit je dan tegelijkertijd op je website?
(juist om een idee te hebben)
Thanks
Dat is moeilijk te zeggen, wel heb ik dan bij de server-status van apache:
- 324 requests currently being processed
Mysql :
- 597 threads
- queries per second (AVG) : 13.822
neographikal
29/01/04, 23:03
Waarom geen Opteron?
http://www.tweakers.net/reviews/442?
Uit verscheidene andere testen blijkt dat de Opteron nu al erg goed presteert en er nog een hoop uit te halen valt. Tweakers.net draait nu nog op een 32 bits mysql, de 64 bits was iets trager maar dat kwam waarschijnlijk dootdat deze gecompiled was met gcc 3.2.2. Gcc 3.3.2 heeft een hoop AMD64 optimalisaties, waarmee waarschijnlijk al een stukje extra performance is te behalen.
Met een NUMA-aware kernel (Linux kernel 2.6 kan dit geloof ik al redelijk goed aan) zouden de prestaties nog verder te verbeteren moeten zijn. Zoek maar eens op tweakers naar opteron bij het nieuws. THG en ik geloof ook Anandtech hebben de Xeon tegenover de Opteron gezet. In 3/4 van de gevallen presteert de Opteron beter. (oa door de eigen geheugencontroller, enz enz.)
Als webservers presteerden ze ook erg goed, veel requests per seconde met korte wachttijden. Dat was meen ik het artikel van Anandtech waar dit in stond.
Origineel geplaatst door rudy
Bedankt voor de tip, zal het eens bekijken,
wat ik ook zie met de tool "top" dat mijn systeem veel zit te swappen. zo'n 750 mb van de 1,5gb aan swap wordt gebruikt. Ik heb nu 1 GB geheugen, en heb net nog 1 GB meer besteld.
Zal eens kijken of dat nog goed gaat helpen.
Sinds zondag heb ik 2gb in mijn systeem zitten... Kan zien dat er veel minder / niet geswapt worden, nog wel af en toen dat de system usage naar 50% vliegt.
Maar doordat mysql het zwaar heeft zal het denk ik wel te veel worden voor de processor ( P4 2,4 ), dus ben al aan het uitkijken naar mijn nieuwe server.