PDA

Bekijk Volledige Versie : Server combinatie vraag



Sidi
27/09/05, 15:04
we zijn bezig met de ontwikkeling van een website die veel bezoekers zal trekken (verwachten we).
De website is een listing catalog, zoals kelkoo, immoweb.be of dergelijk.
veel foto's 1-5kb worden getoond.
Dit betekent ook dat er veel queries zullen gebeuren, en ook veel pageviews;
Dit zijn onze verwachtingen (10.000 - 20.000 Uniques).
Ik kan op dit moment nog geen bijkomend informatie geven. Dit zal later volgen als het project af is.

Nu, qua servers, denken we aan:
- 1 mail server
- db server(s)
- webserver(s)
- 1 backupserver
- Fileserver
- misschien loadbalancers

bij deze wil ik jullie mening over de configuratie.
Hoe wordt de bandbreedte dan berekent voor de komplete configuratie.

Ik dank jullie allen bij voorbaat.

De hosting zal gebeuren in de Interxion en tegen die tijd komt er een prijs aanvraag in de juiste gedeelte van WHT

Sidi
27/09/05, 20:13
Niemand die het waagt

luser
27/09/05, 20:15
Ik wou er nog op reageren, alleen nog geen tijd gehad ;)

smurf
27/09/05, 21:06
Wat is het budget?

Sidi
27/09/05, 21:13
Moet nog nagekeken worden.
Maar aan hand de voorstellen, kunnen we al een stap voorruit gaan, weten we ook gelijk welk budget eraan hangt qua hardware

Dillard
27/09/05, 22:16
Ik zou beginnen met minimaal 1 db-server en 1 webserver. Alle webservers koppel je op de db-server, en houd je onderling synchroon met rsync.

Voordeel is dat je modulair snel extra power kan inzetten door een webserver toe te voegen.

Mail-server : zeker doen indien je veel mail verwacht.
Backup-server : kan zeker geen kwaad. Evt. overwegen om een 2e db-server in te zetten welke tevens replicating draait voor de primaire server. Hiermee kun je belasting verdelen en heb je een backup indien je db-server uitvalt.

Loadbalancer: hardwarematig indien je budget hebt of anders softwarematig.

Verkeer: indien je bv. een half cabinet (22U) huurt en hier 1 (of bvk 2 switches) inhangt, reken je je verkeer als totaal combinatie af.

Succes!

Sidi
28/09/05, 14:33
Bedankt
we zullen beginnen met 1db, 1web, 1 mail, 1 backup server om alles uit elkaar te houden.

Wie kan er configuraties aan plakken? en/of andere voorstellen?

bedankt

froggie
28/09/05, 15:12
Kijk eens naar afs of coda ipv nfs en r s y n c tussen de file- en webservers.

r s y n c wordt naar mijn mening zo'n houtje touwtje oplossing wanneer je met meer dan 2 servers werkt.

[offtopic]
Klote mod_security :r

smurf
28/09/05, 15:14
Geet het systeem wel zoveel mail genereren dat er een aparte mailserver nodig is?

Config die ik zou voorstellen:
- 1 'zware' DB sever
- 1 'zware' Fileserver
- x Webservertjes die toegevoegd kunnen worden

Server 1 en 2 kunnen eventueel ook de loadbalancing doen, je kan natuurlijk een extrene loadbalances aanschaffen.

Dat zal al redelijk wat aan kunnen, zeker omdat we webservers zal kunnen bijplaatsen...

froggie
28/09/05, 15:34
Als je gebruik van Coda en een flink deel van files laat cachen op iedere node zal de load op je fileserver ook wel meevallen (en is niet meteen alles down zodra je fileserver onderuit gaat.

Axis (NetMatch)
29/09/05, 11:44
Origineel geplaatst door Dillard
[B]Ik zou beginnen met minimaal 1 db-server en 1 webserver. Alle webservers koppel je op de db-server, en houd je onderling synchroon met rsync.

Voordeel is dat je modulair snel extra power kan inzetten door een webserver toe te voegen.
Hier ben ik het opzich wel mee eens..

Maar wat bedoel je met uniques? Unieke bezoekers (sessies) per dag neem ik aan? 30k per dag valt opzich nog wel mee..

Wat ook meespeelt, is wat voor technieken je gaat gebruiken. Wat voor OS ga je draaien? Wordt het een ASP.NET site? PHP? Ga je alle dynamische content live aanbieden, of ga je alvast content pre-genereren op vast tijden? Dit is allemaal nog al essentieel voor je opzet..

Als je bijvoorbeeld statische HTML zou genereren die je zou publishen, dan zou je Pentium III 500 machine bij 30k sessions nog steeds uit z'n neus staan eten, bij wijze van spreken.. Maar dan heb je weer een dikke DB-server en evt. een staging server om alles klaar te zetten.

Sidi
29/09/05, 14:04
30k bezoeker bedoel ik dan.
voor de techniek gaat ons voorkeur naar LAMP. Alle content is dynamisch.
we willen een aparte mailserver om alles uit elkaar te houden, als ie wegvalt heeft dat geen invloed op de rest en zo. dat zal een P4 worden met 1GB ram en een paar scsi disks
de webservers zullen ook P4 zijn
Db denken we te gaan naar een paar opterons 252 met 4 GB ram en een RAID scsi disks.
idem voor de fileserver
voor de backupserver een P4

WI-Hosting
29/09/05, 17:04
Sidi, zou u mij misschien willen emailen of pmmen? ik ben wel geinteresseerd in de oorsprong en doel van de site,

bvd,

Zoran Pillay

p.m. je kan beter een mailserver combineren met de andere en dan de voor een mailserver bedoelde server, een fallback mailserver maken, 2 is altijd beter dan 1 en je wilt nooit zonder mailserver zitten ;)

Sidi
29/09/05, 18:18
op dit ogenblik kan ik geen informatie geven noch over de oorsprong noch over de inhoud of doel. Het is geen adult project, dat kan ik wel kwijt ;)
een mail server down is op zich geen probleem, daar er een dagelijks backup moet draaien en een mail server niet de grootste kost is. maar de idee is helemaal niet slecht.

Sidi
02/10/05, 11:13
Begrijp mijn antwoord niet als offensief, maar je kan begrijpen dat we op dit moment geen info geven.
wat we zoeken is wat info van ervaren webhosters.

WI-Hosting
02/10/05, 12:45
geen probleem hoor sidi, ik was alleen ff wat inactief,

als je me op msn bereikt kan ik je misschien helpen met de hardware zelf..

ik zou voor de setup gewoon zeggen:

1 heavy load db server
1 heavy load file server
paar kleine webservers
fallback mailserver/backup server (gewoon grote hdd systeem)
en als het nodig is uitbreiden met loadbalancers

Sidi
02/10/05, 13:14
Bedankt voor de reactie
wij overwegen hosting in brussel omdat ikzelf in brussel woon, da's dus dichtbij in geval van uitvallen, software, hardware problemen.
Als het zover is zal ik je zeker contacteren, en zal een bericht hier op WHT verschijnen voor offertes.

Sidi
02/10/05, 20:10
graag jullie mening
wat noemen julie 'zware server', graag wat specs

WI-Hosting
02/10/05, 22:53
hoge p4 of dual xeon/opteron

froggie
02/10/05, 23:13
Origineel geplaatst door Sidi
graag jullie mening
wat noemen julie 'zware server', graag wat specs
Stevige CPU, genoeg RAM en een degelijk disksysteem.

Voor een db server zou ik kiezen voor een dual AMD Opteron 246 (mogelijk eerst beginnen met een enkele cpu en wanneer nodig een 2e bijprikken), 2 - 4GB ram om mee te beginnen (zorg dat je gebruik kunt maken van dual channel) en een aantal scsi disks in RAID 1 (of 5 wanneer je meer opslag nodig hebt) bij elkaar gehouden door een goede controller (bijv LSI) met onboard cache.

Zorg dat je bottlenecks op databussen voorkomt (maak dus waar mogelijk gebruik van PCI-X etc).

Voor de fileserver kun je over een zelfde setup nadenken maar dan met meer diskspace.

luser
03/10/05, 10:46
Een stevig systeem hangt af van de appz die het moet uitvoeren.

Om er even wat hardware op te plakken (waar je voor jouw cijfers normaal wel mee toe komt):

Loadbalancer (1 stuk is normaal genoeg, meestal gaat deze alleen down bij onderhoud, liefst op een STS of met redundant PSU)
- Case: 1U Supermicro ofzo (passend bij mobo)
- Mobo: een serverboard, liefst met 2xLAN onboard, dit is tegenwoordig wel bij de meeste zo.
- CPU: Intel celeron (2Ghz is meestal meer dan genoeg)
- MEM: 2x256MB (normaal ook meer dan genoeg)
- HD: 4gig komt normaal toe, nu vind je zulke schijven niet meer, 40GB WD zal dus wel genoeg zijn.
- OS: Linux met LVS erop draaiende

Webserver (4 stuks, 2 op A feed, 2 op B feed):
- Case: 2U procase, goedkoop, degelijk en zo blijft het systeem op mooie temp.
- Mobo: hoeft geen servermobo te zijn, Asus P4P800-MX is een goed board voor een zulk systeem.
- CPU: Intel PIV 3Ghz komt normaal wel toe, is momenteel beste kwa prijs/performance. Liever meer webservers dan zware cpu's erin.
- MEM: 2x512MB DDR400 komt normaal wel toe, nu geheugen is momenteel zeer goedkoop dus mocht het te weinig worden kan je nog 2 latjes bijdoen.
- HD: Een raptor 36GB SATA is misschien wel overkill maar het is een betrouwbare schijf die niet na 6 maand de geest opgeeft. Als alternatief kan je hier gewoon een WD/IBM/MAXTOR gebruiken.
- Net: naast de onboard kaart een extra 3com/intel/... voor de link richting het internet.
- OS: Windows/*NIX, hangt van de site af.

Fileserver (1 stuk nodig, liefst met redundant PSU)
- Case: 2U met 8 hotswaps of meer, hangt van het aantal schijven af. Zou beetje lastig zijn om voor het vervangen van schijven het hele systeem te moeten uitzetten.
- Degelijk servermobo met voldoende PCI-X (Tyan heeft wel wat)
- CPU: PIV 3Ghz komt normaal toe voor meeste fileserver taken, nu is het zo dat je een mobo met nodige PCI-X pas krijgt als je xeon of opteron gebruikt, singel xeon 2.8Ghz kost je evenveel als een PIV 3Ghz, verder kan je later mocht de cpu load toch te hoog worden er een cpu bijprikken.
MEM: 4x512MB DDR400 komt zeker toe, hij moet lang aanstaan, alleen rebooten bij onderhoud dus 1GB kan wel eens wat weinig worden.
- Net: Liefst 1000Base-T of 1000BaseSX richting switch (geplugt in PCI-X slotje).
- HD's: Dit hangt zowat van de sites af, hoeveel er van disk moet komen, hoeveel van SQL. Nu 8x36GB WD Raptor 10Krpm op een areca controller zal normaal wel voldoen (6x74GB ook goed), altijd min. 1 schijf als hot-spare voorzien. Ideaal zou een LSI controller zijn op SCSI met dan 36GB 15Krpm schijven erachter (kosten niet zoveel meer dan de raptors, de scsi controller is wel dubbel zo duur)
OS: Linux

SQL server (1 nodig, liefst ook met redundante PSU)
- Case 2U, min 4 hotswaps
- Mobo van Tyan, PCI-X liefst te voorzien.
- CPU's: Een dual setup van opteron's 246 zal je al een heel eind mee komen, nu is dit zeer afhankelijk van je query's
- MEM: 4GB DDR400 REG ECC: Geheugen kan je meestal niet voldoende hebben in je databaseserver, reg ecc is must voor de opterons.
- HD's: 4 raptors 36GB of 74GB in raid10 komen waarschijnlijk toe, ideaal is wederom de SCSI setup. Als controller wederom Areca of LSI.
OS: Linux (gentoo is zeker goed, zeeer stabiel en goed kwa performance)

Mailserver (1 stuk voldoende, kan ook Primary dns spelen, sec draai je best extern zelfde voor backup mail)
- Case: 1U supermicro ofzo
- Mobo: servermobotje van supermicro (P4SCi), goede prijs/kwaliteit, redelijk betrouwbaar
- CPU: Intel celeron of PIV, hangt af hoeveel mail langs komt, normaal is een celly 2.5Ghz genoeg
- MEM: 1GB is zeker niet mis, 512MB komt normaal wel toe.
- HD: 2x80GB in raid1 komt zeker toe, een 3ware controllertje voldoet zeker aan de eisen.
- OS: Linux

Netwerk:
2 switches met voldoende poorten, 1x voor het internet, hier komen dus je mail en webservers op, 1x voor het LAN, hier komt alles op wat op de SQL of NFS toegang moet hebben. Liefst voor het LAN een met een gigE uplink richting de fileserver. 1000BaseT zou ook de latency richting de SQL verlagen volgens sommige mensen nu heb ik dit zelf nog niet getest.


Met dit systeem kan je al aardig wat verzetten, maar het blijft afhangen van aantal bezoekers, piekmomenten,scripting, ...
Het is redelijk flexibel kwa upgrades, je moet gewoon alles goed monitoren (mrtg's van cpu/mem/diskusage etc...)


Ik hoop dat je met mijn uitleg wat meer weet hoe en welke hardware je kan kiezen, indien je nog vragen hebt hoor ik dat graag.

EDIT: Je backups kan je kwijt op je mailserver, desnoods steek je er nog eens een extra 2x400GB op raid1 in, de backups van mail etc gooi je dan op de NFS server.

Wido
03/10/05, 15:10
Ik ben het opzich eens met luser, maar dit is precies waar wij ervaring mee hebben dus wil ik wel het een en ander over kwijt.

Loadbalancer
Hier kan je echt een simpel ding voor inzetten, maar je wil wel een betrouwbaar apparaat.

256MB Ram is meer dan zat voor loadbalancing. Onze loadbalancers draaien toch aardig grote clusters en deze hebben altijd een load van 0.00 of maximaal 0.05.

Je zou in principe een Cellie 266Mhz met 32MB ram kunnen inzetten als loadbalancer.

Aangezien het betrouwbaar moet, 1U kast, SuperMicro, Celleron, Redundant PSU en op twee aparte groepen aansluiten.

Je kan zelfs met hartbeat een stand-by loadbalancer inzetten.

LVS icm DR moet hier volstaan.

Webservers
Die webservers kunnen makkelijk in 1U. Onze ervaring leert dat die P4's met 2GB het beste presteren. Schijfje kan echt gewoon een simpel 40GB ding zijn. (Je draait toch redundant met loadbalancing)

Fileserver
Pak een 2U case met daarin 8 hotswap bays en stop er een Areca controller in met 8 Raptors van 74GB. Zet dit in RAID-5 met 1 hotspare dan heb je +/- 340GB effectieve opslag. Draait als een trein. 1000Base-T richting de switch is in principe genoeg. 1000Base-SX is imho nogal overdreven, houdt gewoon die UTP kabel zo kort mogelijk.

Wij hebben Tyan Thunder K8S Pro moederborden met single opterons ingezet als fileservers. Hebben degelijke onboard netwerkkaarten (netExtreme).

Hier moet uiteraard wel een redundant PSU in.

Database
Pak een dual opteron met een sloot geheugen. Hoe meer geheugen, hoe blijer de database server wordt. Twee keer Opteron 246 moet volstaan.
Neem hiervoor een 1U Chenbro met 4 hotswap bays, stop er 4 raptors van 36 of 74GB in en hang deze aan een areca controller.

Areca icm Raptors draait gewoon super. Let wel even op, je hebt een "speciale" driver nodig als je wil draaien onder Debian. Ik heb van Areca deze speciale driver gemailed gekregen, op aanvraag stuur ik die naar je op.

Mailserver
Pak een degelijke P4 met een GB ram. Stop er 2 hdd's in en draai deze in RAID-1. Ik raad je wel aan een 3Ware 8006-2LP te nemen als raid controller, die SIL dingen willen niet echt onder Linux.
Voor de mailserver raad ik je Qmail icm vpopmail aan, draait superstabiel, heb geen noemenswaardige problemen er mee gehad in de tijd dat we het draaien.

webster
03/10/05, 15:48
Beetje rare vraag, maar denk je dat je vanaf de introductie direct 20k tot 30k bezoekers trekt?
Waarschijnlijk dat er bij de introductie wel veel minder bezoekers komen dan verwacht, daar staat je server park dan...

Misschien iets om eerst te starten met een normale server. Je kunt altijd nog verder uitbreiden. Bespaar je waarschijnlijk in de opstartkosten en tegen de tijd dat je 30k bezoekers trekt kun je uitbreiden naar gelang je nodig hebt.. Serverload, traffic etc staat dan helder op je netvlies.

Sidi
03/10/05, 16:04
bedankt voor de uitgebreide uitleg iedereen. Hier zijn we een heel stap verder.
Wat betreft de vraag van Webster, héél terecht! men zou inderdaad gek zijn als ie gelooft dat ie 20-30k bezoekers zal krijgen van beginaf aan, maar we hebben er geen zin om pas later de boel up te daten en van een en ander insteken. investering éénmaal in hardware en dan gedaan. Qua bandbreedte, daar kan wel een en ander opgebouwd worden naar gelang je meer gebruikt, neem je simpleweg meer.
En gaat het niet zoals we hopent, dan hebben we pech, en hebben we toch geprobeerd iets leuks te maken met een investering en dan ja! verkopen we de boel, of gebruiken we die voor andere doeleinden.

jo0st
04/10/05, 15:42
Ik zou inderdaad kiezen om meteen goed van start te gaan. Wanneer je een beetje achter je concept staat is een dergelijke investering natuurlijk niet iets om lang bij te hoeven stilstaan. Ik heb zelf wel de weg gekozen om de hosting met de groei te laten meegroeien. Is helemaal af te raden. De eerste twee maanden op een gewoon hosting pakket met een faktuur a 200 euro dataoverschrijding de maand. Toen overgestapt op 1 Dedicated, wou ook net 1 maand draaien. Toen overgestapt op een Snellere dedicated (dual xeon). Maand later moesten we overstappen op twee dedicated servers. Ook weer fout gegaan, en nu hebben we eindelijk de stap gezet waar we mee hadden moeten beginnen.

Een half rack bij XS4ALL met een dual opteron, en twee pentium 4 3.0 servers. En het heeft me niet alleen veel tijd gekost, maar ook ontzettend veel klanten, leden, en natuurlijk daarmee ook veel geld. Om het meteen goed aan te pakken betaald zich uiteindelijk terug.

Vond dit een mooi topic om me voor te registreren, want de groei is te onvoorspelbaar, en vaak te groot om op in te kunnen springen.

Sidi
04/10/05, 20:12
we hebben het concept netjes uitgetekend, en moet zeggen dat heeft ons veel moeite gekost. Tel daarnaast de investering in de applicatie/software die we (laten) bouwen, om dan op één sterke server te zetten.. dat zien we niet zitten. bijkomend zoals je aanhaald, kost het veel kostbare tijd, en als je advertenties op je site hebt staan (meeste hebben dat als bron van inkomen), nou, daar gaat nog eens wat geld kwijt.
Daarmee dat we besloten hebben om toch goed van start te gaan.
En opzich ben je ook op geen elk moment je geld niet kwijt, want hardware gaat niet binnen 6 maanden 50% goedkoper worden.

WI-Hosting
04/10/05, 20:45
je kan altijd je servers gewoon 2e hands verkopen als het mislukt dus dat is geen probleem, alleen je moet wel je contract uitzitten van je colocation :(

Sidi
04/10/05, 21:04
inderdaad, en daar willen we ook netjes mee om gaan, contract van max zes maanden.

jo0st
04/10/05, 21:04
Origineel geplaatst door WI-Hosting
je kan altijd je servers gewoon 2e hands verkopen als het mislukt dus dat is geen probleem, alleen je moet wel je contract uitzitten van je colocation :(

Je gaat als ondernemer die compleet achter zijn concept staat toch geen rekening houden met een evt. failissement! :)

Sidi
04/10/05, 21:41
als je slecht denkt te starten dan moet je helemaal niet starten ;)
nee maar ik bedoel, je kan tegenslagen hebben in het leven van een onderneming. zolang het maar beperkt het maar beperkt blijft.

crazycoder
05/10/05, 00:07
Origineel geplaatst door jo0st


Je gaat als ondernemer die compleet achter zijn concept staat toch geen rekening houden met een evt. failissement! :)
Dat heet beperken van het risico :)

Flopt het na 3 maanden is 3 maanden rackhuur te overzien, 9 maanden is niet leuk meer..

Is een goed principe voor iedere ondernemer.. :-)