Opties voor een maximaal schaalbare serveromgeving

[vincent112]

Ik ben samen met 2 andere ondernemers van plan om een serveromgeving op te zetten die schaalbaar is. Dit in verband met de te verwachte explosieve groei van het gebruik van de site.

Nu vraag ik mij af... is er een optie dat je verschillende servers in kunt zetten die allemaal ter dienste werken van 1 OS? Dus mocht het drukkker worden dat ik er gewoon een server bijknal? Misschien is er iemand die zich hier in specialiseert?

De oplossing moet in ieder geval voor mij makkelijk te schalen zijn, maar ook niet onnodig ingewikkeld en daardoor instabieler zijn. Eenvoudige oplossingen zijn vaak ook erg goed.

[V v Zuydewijn]

Een cluster met aparte Database servers, webservers, file servers. En schalen maar.

Victor

[Erik]

Zoals je zelf al zegt: real engineers keep it simple.

Vanuit dat oogpunt zou ik, als dat een optie is, gaan voor gescheiden database, file en webserver. Dan heb je simpele en gescheiden componenten, zowel fysiek als administratief.

Als dat geen optie is (je hebt echt een mega site) kan je misschien gaan voor round robin DNS. Bijvoorbeeld een x aantal webservers en en meerdere databaseservers. Je kan dan database replicatie gebruiken en een aparte fileserver. Met goede server-side caching en verdeling van databasewerk vanuit je applicatie kan je een eind komen op die manier zonder dat je direct geavanceerde routers nodig hebt of speciale en dure systemen.

Al met al is het meestal niet zo simpel als je hoopt denk ik. Dus geen kwestie van even een servertje erbij knallen en alles gaat vanzelf.

[HY5]

Ik vind dat er te weinig informatie over je applicatie/website is om je goede adviezen te kunnen geven.

Watvoor applicatie? Watvoor webserver? Watvoor database server? Budget? Prioriteiten etc. etc.

Wij zijn redelijk gespecialiseerd in schaalbare oplossingen voor drukke websites met minimale systeem eisen/budget. Maar dat betekent dat je met details moet gaan werken voor betere performance.

[Sander-]

INdien het gaat om 1 website/applicatie dan is het mogelijk om een goede customsetup te bouwen, zodra het gaat om een complete setup met daarbij ook een controlepaneel wordt het al een stuk lastiger.

[wonko]

Er zijn hier verschillende mensen en bedrijven op het forum die zich daarin specialiseren (wij oa ). Je zal wel iets meer details moeten geven over wat de servers precies dienen te doen, of wat de site zal doen (zodat we daaruit kunnen afleiden wat de zware belasting zal geven), anders zal niemand je kunnen helpen.

Drukke sites kan je best serven vanaf verschillende webservers, met een (redundante) loadbalancer ervoor. Afhankelijk van de applicatie en wat het moet doen, moet je dit uitbreiden met bvb fileserver(s) (denk photo-stock site), databaseservers (discussiefora en dergelijke meer) en meer van dit. Het is best even samen te zitten (fysiek of virtueel) en eens het budget naast het gewenste resultaat te leggen...

Wanneer je niet zeker bent van het al dan niet scoren van de site, neem dan gewoon een goed bedrijf in dienst met kennis in huis van dergelijke zaken. Als de site populair wordt, kunnen zij je normaal wel helpen (of vallen ze door de mand ).

[vincent112]

Mmm, inderdaad wellicht was ik iets te summier met mijn informatie.

Het zal gaan om puur een website met daaraan vastgekoppeld een webcam-systeem. Dat is net hetgene wat veel gaat vreten, want ik wil de beelden om juridische redenen 48 uur bewaren.

Het staat nog helemaal open of ik voor linux of windows ga, er zijn opties om te gaan voor PHP of ASP. Database-server staat ook nog open, maar ik hoorde dat MSSQL makkelijker te schalen is dan MySQL? Het budget is heel simpel, ik wil nu geld in iets investeren waarmee ik voor de toekomst ben voorbereid, dus als dat nu wat meer kost is het niet anders. Maar volgens mij hoeft het niet al te duur te zijn om zoiets op te zetten. Het gaat volgens mij hoofdzakelijk om de visie / opzet...

Ik werk overigens normaal met Supermicro P4Sci servertjes... prima spul, en ik zie het nu voor mij als het drukker wordt, dat ik er liefst zo eentje dan bij schuif...

[HY5]

Oh, het is wel grappig, we hebben laatste 2 weken 2 aanvragen voor een webcam-systeem.

Als jij al die webcam streams wilt gaan opslaan, lijk mij dan de hardeschijven de bottleneck gaan worden.

Maar ik zou zowieso geen P4 inzetten voor zoiets, maar Xeons. Want het is beetje onzin 2xP4 te gaan clusteren voor wat 1x Xeon makkelijk aankan.

[Ebiss]

Keep it simple zou ik zeggen, afhankelijk van het type OS dat je wilt gaan inzetten (MS of Linux based), zijn er verschillende opties, valkuilen en weetjes. Momenteel gebruiken wij drie locaties, met round robin om het data verkeer te spreiden en als simple failover service. De database dient bij ons tevens als fileserver (bestanden worden in de database opgeslagen), waardoor deze vanzelf ook schaalbaar wordt ingezet. Bij database replicatie moet je sourcecode overigens vaak wel aan een aantal eissen voldoen, of je moet denken aan hardware replicatie, waarbij de hardware gelijkwaardig aan elkaar moet zijn. De te maken keuzes zijn met name afhankelijk van je budget en welk OS je er voor wilt gaan gebruiken.

Aanvulling: je hebt al meer informatie gegeven zie ik, neem anders even contact op met Garnier Projects (http://www.netholding.nl), zij hebben ontzettend veel ervaring met het aanbieden van videostreams (oa BigBrother, Gouden Kooi enz, maar ook live uitzendingen etc) en beschikken over meerdere locaties met een snelle backbone.

[hostlogic.nl]

Maar ik zou zowieso geen P4 inzetten voor zoiets, maar Xeons. Want het is beetje onzin 2xP4 te gaan clusteren voor wat 1x Xeon makkelijk aankan.

Je kunt ook een cluster gebruiken voor beschikbaarheid en schaalbaarheid. Als je al 2xP4 in een cluster hebt draaien kun je eenvoudig een van beide vervangen door een Xeon (zonder downtime).

[ivs]

Ik heb laatst ook eens over een schaalbare oplossing nagedacht en kwam toen op het volgende idee, ben benieuwd wat jullie hiervan vinden:

- Je neemt twee goede servers(dual xeon, raid, veel geheugen, etc)
- Op iedere server ga je vervolgens via virtualisatie een loadbalancer, webserver, database server en evt file server draaien
- Mochten er meer capaciteit nodig zijn dan neem je er twee of meer servers bij en verplaats je bijvoorbeeld de database en file server naar de nieuwe servers en zo kan je natuurlijk door blijven schalen.

Volgens mij is dit een ideale oplossing waar bij jij makkelijk en snel kan opschalen indien nodig.

[santema]

Je kunt ook een cluster gebruiken voor beschikbaarheid en schaalbaarheid. Als je al 2xP4 in een cluster hebt draaien kun je eenvoudig een van beide vervangen door een Xeon (zonder downtime).

Mits die ene server alles aankan.

Hoeveel webcams zijn het enhoeveel GB wil je opslaan?

[vincent112]

Ik wacht nog even informatie af van een leverancier. Dan weet ik of het opslaan de bottleneck gaat worden of iets anders.

Dus ik kom er nog op terug!