Onderwerp: Hyves en 1500 servers?

Oorspronkelijk geplaatst door Triloxigen

Het serveraantal klopt inderdaad..

Maar het op 2 locaties verspreiden van de website is toch nog niet gebeurd dacht ik? (weet niet zeker)

Klopt, dit is nog niet gebeurd. Zo hebben waarschijnlijk meer mensen al meegemaakt dat indien er een storing was, Hyves ook niet bereikbaar was.

Sorry maar laten we ook eens een appel met een appelboom vergelijken.

MySpace > Hyves. Veel X > dan Hyves zelfs en dat loopt wel soepel. Als de code niet heel erg snel herschreven cq aangepast gaat worden zal de site aan zijn eigen succes (en starheid) tenonder gaan. Er zijn zelfs al kinderen die klagen over de traagheid...

"dat het niveau van beheer een stukje hoger ligt dan bij 99% van de WHT mensen (NOFI)."
BULLSHIT!

"Uiteindelijk staan altijd de beste stuurlui aan wal."
Inderdaad...

Natuurlijk niet helemaal vergelijkbaar, maar wel een interessant stukje om eens te lezen over de technieken achter sites van zulke omvang:

http://www.linuxjournal.com/article/7451

De management samenvatting: "scale out, not up".

Oorspronkelijk geplaatst door tdw

Nee, nog niet. Ze willen dat overigens wel binnen 12 maanden implementeren, gezien de recente stroomstoring.

We gaan het binnenkort zien. Begin april is er stroom onderhoud in evoswitch, geplande downtime, zal de site dan online blijven?

Waarom Hyves zoveel servers heeft draaien is vanwege dezelfde reden als dat Google dat heeft; ze maken geen tot weinig gebruik van echte SAN/NAS oplossingen en ook bijv. geen bladeservers.
Het idee van zowel Google als Hyves is om met veel goedkope dozen hetzelfde te doen als je met weinig dure dozen kan.
Dit is een strategie die Google zeker geen windeieren gelegd heeft en Hyves probeert dit ook.
Nadeel is dat je inderdaad heel veel servers krijgt. Het voordeel is dat je snel kunt groeien met goedkope apparatuur.
Uiteraard zijn er meer voor en nadelen, maar in het kort komt het daar een beetje op neer.

Het is overigens vind ik wel grappig om te lezen hoe makkelijk mensen denken over een dergelijke setup; ook in het topic over de Wilders film 'ik zou een extra server neerzetten en daar de film op hosten' vind ik wel grappige antwoorden.
Setups als die van Hyves met veel scripts/databases en bezoekers zijn vrij complex en vergen nu eenmaal een hoop apparatuur.
Uiteraard speelt scripting ook wel mee; brakke scripts is het begin van het einde. Dan kun je er nog zoveel hardware tegenaan gooien, maar lekker draaien gaat het nooit.

Hoe snel een dergelijke setup complex wordt zie ik bijna dagelijks bij het ontwerpen en beheer van de omgevingen die wij bouwen en onderhouden voor klanten. Denk aan de betaalomgevingen van de Rabo bijvoorbeeld; komt een stuk meer bij kijken als dat je in eerste instantie zou denken hoor.

Oorspronkelijk geplaatst door mdf

Het is overigens vind ik wel grappig om te lezen hoe makkelijk mensen denken over een dergelijke setup; ook in het topic over de Wilders film 'ik zou een extra server neerzetten en daar de film op hosten' vind ik wel grappige antwoorden.
Setups als die van Hyves met veel scripts/databases en bezoekers zijn vrij complex en vergen nu eenmaal een hoop apparatuur.
Uiteraard speelt scripting ook wel mee; brakke scripts is het begin van het einde. Dan kun je er nog zoveel hardware tegenaan gooien, maar lekker draaien gaat het nooit.

En wat je x tijd geleden hebt bedacht kan destijds heel slim zijn geweest maar door de tijd / groei / nieuwe inzichtichten / whatever achterhaald zijn. Wil nog niet zeggen dat het destijds niet goed was.

Dat ben ik zeker met je eens. Vaak worden dergelijk toepassingen spontaan geboren of voldoen ze aan bepaalde eisen, maar mocht iets zoals in dit geval ook 'opeens' een hype worden dan is drastisch ingrijpen vaak nodig.

Gebruikt Hyves dan zo'n goedkope dozen? Google zit volgens mij enkele niveaus lager in de wereld van goedkoop

Hier een foto gevonden van de oude servers van Google:
http://upload.wikimedia.org/wikipedi...ion_Server.jpg

Dan vind ik dat Hyves het een stuk beter doet met allemaal nette Dell servers.

Ik heb nog geen recentere info kunnen bemachtigen maar om jullie even een idee te geven hoe een site als myspace.com in elkaar zit en dan nog wel twee jaar geleden. Kun je nagaan wat er nu allemaal achter zal zitten.

For those that aren’t familiar with MySpace.com, it is the fastest growing site on the Internet right now. They have 65 million registered subscribers, and are registering 260,000 new users each day. According to the Media Metrix report (an independent analyst firm) MySpace.com had more page views in February than all of the MSN and Google sites combined. That is some serious load.

They re-built and re-deployed their site on ASP.NET 2.0 shortly after we shipped last year. Some of the pretty amazing statistics Aber and Allen (the MySpace CTP and VP of Engineering who were both in BillG’s keynote session) shared at MIX about the MySpace.com site:

* MySpace.com is now processing 1.5 Billion page views per day
* MySpace.com handles 2.3 million concurrent users during the day
* MySpace.com’s average server CPU utilization went from 85% to 27% after moving (from another technology) to ASP.NET 2.0

http://computer.howstuffworks.com/myspace1.htm
http://weblogs.asp.net/scottgu/archi...25/441074.aspx
http://www.baselinemag.com/c/a/Proje...de-MySpacecom/
http://www.byteandswitch.com/document.asp?doc_id=92081
http://www.byteandswitch.com/document.asp?doc_id=85382

Erg interessante materie als je het mij vraagt. Leuk detail is dat myspace.com dat toen al (2006) enkele miljarden pageviews per dag had te verwerken draait op ASP.NET (eerst ColdFusion maar er is toen begonnen met een migratie naar ASP.NET via BlueDragon en die zal nu al wel afgerond zijn). Ik denk dat sommigen hier wel van zullen schrikken.

Maar het punt dat ik wil maken is dat myspace.com wel snel werkt (lees de links en zie dat het ook niet altijd goed ging) en dat als je dus een concept copieert, waar niets mis mee is, ook goed kijkt naar de problemen waar myspace mee te kampen heeft gehad en daarvan probeert te leren. Zij hebben de overstap naar een beter systeem met betere/nieuwere code op tijd gemaakt en ik vraag me af hoelang het gaat duren voordat Hyves deze stap gaat maken.

De snelheid van MySpace ligt volgens diverse metingen op dit moment lager dan bij Hyves. Verder roepen sommige mensen dat de mogelijkheden bij MySpace lager liggen, maar gezien ik de features van de sites niet in-depth ken kan ik daar niet zoveel over zeggen.

Als je recente info wil hebben over de MySpace architectuur kijk dan de MIX07 en MIX06 presentaties erover. MySpace heeft tov Hyves natuurlijk wel het, in mijn ogen, enorme voordeel dat ze op een echt platform draaien ipv op MySQL en PHP. Hyves zou hier inderdaad ook eens over na moeten gaan denken. Maar daar is ongetwijfeld een lange discussie over te houden

[edit]
MIX07: http://www.bestechvideos.com/2007/05...nternet-scale/
MIX06: http://sessions.visitmix.com/view.asp?pid=NGW046

Vergeet niet dat er bij hyves non stop berichten worden verstruurd, krabbel geplaatst, fotos geupload etc. door miljoenen gebruikers

Oorspronkelijk geplaatst door Barone

Vergeet niet dat er bij hyves non stop berichten worden verstruurd, krabbel geplaatst, fotos geupload etc. door miljoenen gebruikers

Dus?
Als ik hun weblog / techblog lees, dan komt er duidelijk naar voren dat ze sterk gelimiteerd worden door de database performance, maar dat ze om onduidelijke redenen bij MySQL blijven en niet openstaan voor verandering op korte termijn vanwege de tijd/geld die in zo'n project gestopt moet worden.

Ik denk dat Hyves op het punt is gekomen dat er inderdaad gekeken moet worden naar een andere architectuur of opbouw, dit kan betekenen dat bijvoorbeeld de gehele site herschreven moet worden, maar kan ook betekenen dat er bijv een oracle of andere database achter komt te hangen die wel in staat is om dergelijke hoeveelheden query's goed af te handelen.

Ik heb zelf het idee dat als ze hier niet snel mee gaan handelen dat dit toch bezoekers gaat kosten, de site is momenteel vaak niet geheel bereikbaar, vanochtend was het PB gedeelte bijv weer een poos uit de lucht. Mensen gaan zich irriteren en zullen op termijn overstappen naar nieuwere en betere mogelijkheden, denk ik.

Oorspronkelijk geplaatst door Barone

Vergeet niet dat er bij hyves non stop berichten worden verstruurd, krabbel geplaatst, fotos geupload etc. door miljoenen gebruikers

Je weet dat dit voor sites als myspace en facebook ook geld maar dan meer dan met het tig voudige?

Het lijkt me duidelijk dat er een grens bereikt is en dat er echt iets moet gebeuren op het software/hardware vlak.