Onderwerp: Hosting met gigaveel downloads...

Hallo,

Momenteel ontwikkelen wij een software-applicatie voor een groot bedrijf hier in Belgie. Deze applicatie connecteert zich met een server en moet daar dagelijks ongeveer 50MB aan nieuwe data downloaden.
Deze te downloaden data is praktisch voor elke client hetzelfde. De applicatie draait in background bij de client en zal alleen downloaden wanneer de client op dat ogenblik geen andere internetactiviteit heeft. De te downloaden data zal in kleine porties worden gesplitst en bij de client weer aan elkaar worden geplakt.

Tot hiertoe geen enkel probleem. Alleen hebben we een stevige server nodig die voldoende clients zal aankunnen. Onze klant verwacht op termijn 100.000 gebruikers die dagelijks dus die 50MB zullen downloaden. Reken erop dat er dus zeer veel clients op hetzelfde moment zullen downloaden. Pieken van enkele duizenden concurrent downloads zijn dus niet uitegsloten.


- Welke serveroplossing hebben we nodig om deze grote hoeveelheden aan downloads op een efficiente én clientvriendelijke manier af te handelen?

- Hoeveel bandbreedte dienen we te voorzien of bestaan er soepele oplossingen die meegroeien met de groei vh aantal gebruikers en met de behoefte aan bandbreedte.

- Is cascade hosting een oplossing om groei op een goede manier op te vangen?

- Ik weet dat het nog moeilijk is om in deze embryonale fase al een prijsschatting te maken, maar is het mogelijk een prijs op te maken met de parameters : 100.000 clients die dagelijks 50 MB aan data binnenhalen. (gebruikers zullen zich voor 95% in Belgie bevinden)

Alvast bedankt!

Natuurlijk wil je dit niet vanaf 1 locatie doen. Alleen al omdat 5TB aan data verkeer per dag nou niet echt goedkoop is.
Ik neem aan dat deze mensen in groepjes bij elkaar zitten, zet daar proxy servers in en je kan het netjes verdelen.

Natuurlijk is het maar de vraag waarom clients 50MB aan data moeten downloaden, maar dat zal wel eerder overwogen zijn.

Maar wat is het probleem van een server lokaal neerzetten ? // mocht het gebeuren dat de lijn eruit ligt zitten er een hoop mensen nix te doen .. a een heleboel euries per maand.

is het trouwens een gedeelte standaard info en een gedeelte variabel ?

Het zal er omgaan hoe je de data door de server en de client laat verwerken. Als na elke update een ander versie nummer word gegeven en aan de hand van dit versie nummer word de download bepaald dan zal een P4 3,0 GHZ al wel voldoen (met 1 of 2 GB RAM). Echter moet dan clientside worden bepaald welke downloads nodig zijn en moeten die dan via http/ftp worden gedownload. Een server in Nederland zou ivm het prijs verschil waarschijnlijk slim zijn, de vertraging van het dataverkeer is immers beperkt en niet echt merkbaar.

Laten we onderstaande aannemen voor een schatting van het dataverkeer per maand:
-een maand heeft 30 dagen
-iedere dag download iedere gebruiker 50 MB
-er zijn 100.000 gebruikers

30*50*100.000/1000=150.000GB dataverkeer

150TB is ongeveer 750 mbit(95%) (rekening houdend met pieken). Een combinatie van bijvoorbeeld 10 servers die elk een 100 mbit uplink hebben zou een oplossing zijn om het snel te kunnen verwerken, doe je het op 1 server dan denk ik dat de hardeschijven het niet bij kunnen houden.

Een optie zou zijn om in het begin 2 servers aan te schaffen en later meerdere servers toe te voegen. Voor de download locaties kun je gebruik maken van een loadbalancer of je neemt een tekst bestand waar de download locaties instaan die ze eerst downloaden, verspreid dan de verschillende delen over de servers en het kan zeer efficient gebeuren. Voor het tekst bestand zou je de beveiliging kunnen zetten in de vorm van een product key controle bijvoorbeeld.

Als server zou ik of voor een P4 3,0 GHZ gaan of een dual opteron nemen beide in combinatie met raptors en 2 GB RAM. Kies als netwerk een netwerk met goede verbindingen (AMS-IX zou moeten volstaan aangezien de belgische providers daarop aangesloten zijn) en een niet te hoge mbit prijs. Zelf de server kopen is met het oog op de toekomst (12+ maanden) waarschijnlijk het goedkoopst. Groeien zal bij de meeste partijen wel kunnen, persoonlijk heb ik iets van zolang je het een weekje van te voren aangeeft kan je commitment (goedkoper per mbit als achteraf) met gemak zonder andere kosten dan het extra dataverkeer omhoog zonder problemen.

Extra servers en extra dataverkeer kun je bij de meeste providers zodra het nodig is plaatsen, prijzen kunnen vooraf worden afgesproken. Zorg wel dat je een remote reboot poort voor elke server hebt en remote hands mogelijk zijn ivm de reistijd.

Hoe meer client side gebeurt hoe minder servers je nodig bent en hoe goedkoper het kan zijn. De verbinding NL-BE is tot zover ik kan nagaan van verhalen zeer goed (een ping van 10 ms verschil met BE-BE). Het prijsverschil is echter groot.

Bij de optie met meerdere servers kun je het over meerdere netwerken verspreiden, echter zal er een centrale server nodig zijn voor het verdelen (eventueel in een ander netwerk indien dit in de applicatie mogelijk is).

kan je dan niet een p2p systeem inbouwen?
scheelt je een hoop geld.

Origineel geplaatst door 3j3ct
kan je dan niet een p2p systeem inbouwen?
scheelt je een hoop geld.

bij p2p zal de snelheid voor de client variabeler zijn en het is ivm de datalimieten in belgie veel minder client vriendelijk, daarnaast heb je de optie dan ook niet meer om een key te controleren.

Bedankt al voor de reacties. Even reageren op de reacties:

GJtje: Ik neem aan dat deze mensen in groepjes bij elkaar zitten, zet daar proxy servers in en je kan het netjes verdelen.

Nee, dit is quasi onmogelijk vermits het beoogde doelpubliek de gewone particulier zal zijn.

AlexW4U : is het trouwens een gedeelte standaard info en een gedeelte variabel ?

Inderdaad, de meeste clients zullen ongeveer dezelfde data downloaden. Het gaat hier over een gepersonaliseerd journaal in videovorm.

3J3ct: kan je dan niet een p2p systeem inbouwen?
scheelt je een hoop geld.

Dit zou natuurlijk leuk zijn maar onze klant wil zijn klanten dit wel niet aandoen...

Mark17:

Bedankt voor de uitleg. Kunnen we eventueel op jouw deskundigheid rekenen wanneer we dit project werkelijk starten.
Die LoadBalancer is een zeer goede oplossing en stelt ons in staat om geleidelijk mee te groeien met het aantal gebruikers.

Origineel geplaatst door Mark17
doe je het op 1 server dan denk ik dat de hardeschijven het niet bij kunnen houden.

Als het om 50 MB statische data gaat, dan past dat in het geheugen en zullen de harde schijven niet gebruikt worden (op het wegschrijven van het logbestand na dan).


Wat met veel verbindingen wel een probleem kan vormen is het geheugenverbruik.
Een webserver zoals Apache met PHP module kan al snel een aantal MB aan geheugen per verbinding slurpen.
Dat is met pieken van duizenden verbindingen met een enkele server niet goed te doen.

Als de data voor elke downloader 100% hetzelfde is, dan zou je een webserver zoals thttpd of boa kunnen gebruiken, die relatief weinig resources nodig heeft.
Moet er dynamische data aangemaakt worden, of is er authenticatie nodig dan is dat echter geen oplossing.

Hoe belangrijk is de uptime? Ik denk dat het slim is om in dit soort gevallen te denken over Loadbalancing, eventueel met Failover en een NAS oplossing voor de Database.

Mss is het verstandig om een betrouwbare partij een project plan te laten maken en aan de hand daarvan een offerte c.q overeenkomst? Suc6!

Origineel geplaatst door Andromedaris

Mark17:

Bedankt voor de uitleg. Kunnen we eventueel op jouw deskundigheid rekenen wanneer we dit project werkelijk starten.
Die LoadBalancer is een zeer goede oplossing en stelt ons in staat om geleidelijk mee te groeien met het aantal gebruikers.

Dat is uiteraard mogelijk indien u diensten via Stream Service afneemt die ermee te maken hebben of ze af wenst te nemen. Groei optie's bied ik in principe iedereen die erom vraagt. Een loadbalance methode die 100% redundant is (netwerk uitgesloten en stroom uitval van A en B feed uitgesloten) heb ik al op papier staan. Hierbij moet u aan minimaal 10U denken, echter adviseer ik hierbij iets groter te gaan en een paar extra servers te plaatsen aangezien dit betrekkelijk weinig extra kost en de redundantie extreem verbetert. Een vrijblijvende offerte is uiteraard altijd mogelijk.

Hierbij zal u de apparatuur kopen (al dan niet via ons) en kunt u de apparatuur via ons colocated neer hangen, eventueel met 2 netwerken zodat het redundant is. Bij een offerte geven we uiteraard ook aan hoe alles opgebouwd word.

Neem gewoon is contact op met een partij als Akamai ofzo, die zijn gespecialiseerd in het verschepen van grote hopen data naar veel mensen.

Als 95% van je publiek in BE zit zou ik het toch aanraden een hoster te zoeken in InterXion (of allesinds dicht bij BNIX).

Telenet bv zit niet op AMS-IX, hier gaat meestal 60% van het BE verkeer naartoe afhankelijk van de doelgroep.
Verder hoe minder hops hoe minder fails en vertragingen mogelijk zijn.


Om even wat praktischer in te gaan op je vragen zijn er nog een aantal punten nodig:
- Ben je van plan iets van compressie te implementeren (comp-lzo)?
- Wat kost downtime? Ben je tevreden met een setup die 99.9% haalt of is het zo belangrijk dat een 5 9's eraan moet?
- Kan je per gebruiker limieteren, hoe belangrijk is het dat hij het snel heeft?
Met de stijgende snelheden van access providers is het best interessant een user te cappen op 1mbps of een max aantal slots open te houden voor de downloads.

Zoek je gewoon een hoster voor de content en dus die heel de infrastructuur zelf beheert of zoek je een hoster die de infrastructuurt bouwt en beheert voor jullie?

Tevens zal voor 500mbit vast dataverkeer wat in de toekomst nog wel verder zou kunnen groeien een eigen netwerk starten al de moeite lonen. Mocht de data gee priority hebben op snelheid en beste routes dan zullen er mooie data prijzen te behalen zijn met peerings en de wat goedkopere transits.

Origineel geplaatst door Andromedaris

Het gaat hier over een gepersonaliseerd journaal in videovorm.

Zou je dan beter niet naar een streaming oplossing zoeken?

Nadeel is dan wel weer dat bij netwerkproblemen de meeste users dit merken.

Ja, streaming is natuurlijk een mogelijkheid. Alleen blijft het dataverkeer wel identiek denk ik dan?

Ik heb jaren geleden veel over multicasting gelezen maar tegenwoordig hoor je daar nog bitter weinig over. Netwerken, rooters,... zouden dan volledig moeten aangepast worden?

Luser:- Kan je per gebruiker limieteren, hoe belangrijk is het dat hij het snel heeft?
Met de stijgende snelheden van access providers is het best interessant een user te cappen op 1mbps of een max aantal slots open te houden voor de downloads.

Koen: Dit zou inderdaad een goeie oplossing zijn. Snelheid is niet zo belangrijk. We downloaden toch alleen wanneer er geen ander dataverkeer is bij de client.

Luser: Ben je van plan iets van compressie te implementeren (comp-lzo)?

Ja, we compresseren alle data maximaal voor we ze doorsturen naar de clients.

Thx!