PDA

Bekijk Volledige Versie : Hosting met gigaveel downloads...



Andromedaris
28/12/05, 12:51
Hallo,

Momenteel ontwikkelen wij een software-applicatie voor een groot bedrijf hier in Belgie. Deze applicatie connecteert zich met een server en moet daar dagelijks ongeveer 50MB aan nieuwe data downloaden.
Deze te downloaden data is praktisch voor elke client hetzelfde. De applicatie draait in background bij de client en zal alleen downloaden wanneer de client op dat ogenblik geen andere internetactiviteit heeft. De te downloaden data zal in kleine porties worden gesplitst en bij de client weer aan elkaar worden geplakt.

Tot hiertoe geen enkel probleem. Alleen hebben we een stevige server nodig die voldoende clients zal aankunnen. Onze klant verwacht op termijn 100.000 gebruikers die dagelijks dus die 50MB zullen downloaden. Reken erop dat er dus zeer veel clients op hetzelfde moment zullen downloaden. Pieken van enkele duizenden concurrent downloads zijn dus niet uitegsloten.


- Welke serveroplossing hebben we nodig om deze grote hoeveelheden aan downloads op een efficiente én clientvriendelijke manier af te handelen?

- Hoeveel bandbreedte dienen we te voorzien of bestaan er soepele oplossingen die meegroeien met de groei vh aantal gebruikers en met de behoefte aan bandbreedte.

- Is cascade hosting een oplossing om groei op een goede manier op te vangen?

- Ik weet dat het nog moeilijk is om in deze embryonale fase al een prijsschatting te maken, maar is het mogelijk een prijs op te maken met de parameters : 100.000 clients die dagelijks 50 MB aan data binnenhalen. (gebruikers zullen zich voor 95% in Belgie bevinden)

Alvast bedankt!

gjtje
28/12/05, 13:18
Natuurlijk wil je dit niet vanaf 1 locatie doen. Alleen al omdat 5TB aan data verkeer per dag nou niet echt goedkoop is.
Ik neem aan dat deze mensen in groepjes bij elkaar zitten, zet daar proxy servers in en je kan het netjes verdelen.

Natuurlijk is het maar de vraag waarom clients 50MB aan data moeten downloaden, maar dat zal wel eerder overwogen zijn.

alexw4u
28/12/05, 13:26
Maar wat is het probleem van een server lokaal neerzetten ? // mocht het gebeuren dat de lijn eruit ligt zitten er een hoop mensen nix te doen .. a een heleboel euries per maand.

is het trouwens een gedeelte standaard info en een gedeelte variabel ?

Mark17
28/12/05, 13:26
Het zal er omgaan hoe je de data door de server en de client laat verwerken. Als na elke update een ander versie nummer word gegeven en aan de hand van dit versie nummer word de download bepaald dan zal een P4 3,0 GHZ al wel voldoen (met 1 of 2 GB RAM). Echter moet dan clientside worden bepaald welke downloads nodig zijn en moeten die dan via http/ftp worden gedownload. Een server in Nederland zou ivm het prijs verschil waarschijnlijk slim zijn, de vertraging van het dataverkeer is immers beperkt en niet echt merkbaar.

Laten we onderstaande aannemen voor een schatting van het dataverkeer per maand:
-een maand heeft 30 dagen
-iedere dag download iedere gebruiker 50 MB
-er zijn 100.000 gebruikers

30*50*100.000/1000=150.000GB dataverkeer

150TB is ongeveer 750 mbit(95%) (rekening houdend met pieken). Een combinatie van bijvoorbeeld 10 servers die elk een 100 mbit uplink hebben zou een oplossing zijn om het snel te kunnen verwerken, doe je het op 1 server dan denk ik dat de hardeschijven het niet bij kunnen houden.

Een optie zou zijn om in het begin 2 servers aan te schaffen en later meerdere servers toe te voegen. Voor de download locaties kun je gebruik maken van een loadbalancer of je neemt een tekst bestand waar de download locaties instaan die ze eerst downloaden, verspreid dan de verschillende delen over de servers en het kan zeer efficient gebeuren. Voor het tekst bestand zou je de beveiliging kunnen zetten in de vorm van een product key controle bijvoorbeeld.

Als server zou ik of voor een P4 3,0 GHZ gaan of een dual opteron nemen beide in combinatie met raptors en 2 GB RAM. Kies als netwerk een netwerk met goede verbindingen (AMS-IX zou moeten volstaan aangezien de belgische providers daarop aangesloten zijn) en een niet te hoge mbit prijs. Zelf de server kopen is met het oog op de toekomst (12+ maanden) waarschijnlijk het goedkoopst. Groeien zal bij de meeste partijen wel kunnen, persoonlijk heb ik iets van zolang je het een weekje van te voren aangeeft kan je commitment (goedkoper per mbit als achteraf) met gemak zonder andere kosten dan het extra dataverkeer omhoog zonder problemen.

Extra servers en extra dataverkeer kun je bij de meeste providers zodra het nodig is plaatsen, prijzen kunnen vooraf worden afgesproken. Zorg wel dat je een remote reboot poort voor elke server hebt en remote hands mogelijk zijn ivm de reistijd.

Hoe meer client side gebeurt hoe minder servers je nodig bent en hoe goedkoper het kan zijn. De verbinding NL-BE is tot zover ik kan nagaan van verhalen zeer goed (een ping van 10 ms verschil met BE-BE). Het prijsverschil is echter groot.

Bij de optie met meerdere servers kun je het over meerdere netwerken verspreiden, echter zal er een centrale server nodig zijn voor het verdelen (eventueel in een ander netwerk indien dit in de applicatie mogelijk is).

3j3ct
28/12/05, 13:39
kan je dan niet een p2p systeem inbouwen?
scheelt je een hoop geld.

Mark17
28/12/05, 13:55
Origineel geplaatst door 3j3ct
kan je dan niet een p2p systeem inbouwen?
scheelt je een hoop geld.

bij p2p zal de snelheid voor de client variabeler zijn en het is ivm de datalimieten in belgie veel minder client vriendelijk, daarnaast heb je de optie dan ook niet meer om een key te controleren.

Andromedaris
28/12/05, 14:05
Bedankt al voor de reacties. Even reageren op de reacties:

GJtje: Ik neem aan dat deze mensen in groepjes bij elkaar zitten, zet daar proxy servers in en je kan het netjes verdelen.

Nee, dit is quasi onmogelijk vermits het beoogde doelpubliek de gewone particulier zal zijn.

AlexW4U : is het trouwens een gedeelte standaard info en een gedeelte variabel ?

Inderdaad, de meeste clients zullen ongeveer dezelfde data downloaden. Het gaat hier over een gepersonaliseerd journaal in videovorm.

3J3ct: kan je dan niet een p2p systeem inbouwen?
scheelt je een hoop geld.

Dit zou natuurlijk leuk zijn maar onze klant wil zijn klanten dit wel niet aandoen...

Mark17:

Bedankt voor de uitleg. Kunnen we eventueel op jouw deskundigheid rekenen wanneer we dit project werkelijk starten.
Die LoadBalancer is een zeer goede oplossing en stelt ons in staat om geleidelijk mee te groeien met het aantal gebruikers.

maxnet
28/12/05, 14:05
Origineel geplaatst door Mark17
doe je het op 1 server dan denk ik dat de hardeschijven het niet bij kunnen houden.


Als het om 50 MB statische data gaat, dan past dat in het geheugen en zullen de harde schijven niet gebruikt worden (op het wegschrijven van het logbestand na dan).


Wat met veel verbindingen wel een probleem kan vormen is het geheugenverbruik.
Een webserver zoals Apache met PHP module kan al snel een aantal MB aan geheugen per verbinding slurpen.
Dat is met pieken van duizenden verbindingen met een enkele server niet goed te doen.

Als de data voor elke downloader 100% hetzelfde is, dan zou je een webserver zoals thttpd of boa kunnen gebruiken, die relatief weinig resources nodig heeft.
Moet er dynamische data aangemaakt worden, of is er authenticatie nodig dan is dat echter geen oplossing.

Ber|Art
28/12/05, 14:10
Hoe belangrijk is de uptime? Ik denk dat het slim is om in dit soort gevallen te denken over Loadbalancing, eventueel met Failover en een NAS oplossing voor de Database.

Mss is het verstandig om een betrouwbare partij een project plan te laten maken en aan de hand daarvan een offerte c.q overeenkomst? Suc6!

Mark17
28/12/05, 15:35
Origineel geplaatst door Andromedaris

Mark17:

Bedankt voor de uitleg. Kunnen we eventueel op jouw deskundigheid rekenen wanneer we dit project werkelijk starten.
Die LoadBalancer is een zeer goede oplossing en stelt ons in staat om geleidelijk mee te groeien met het aantal gebruikers.

Dat is uiteraard mogelijk indien u diensten via Stream Service afneemt die ermee te maken hebben of ze af wenst te nemen. Groei optie's bied ik in principe iedereen die erom vraagt. Een loadbalance methode die 100% redundant is (netwerk uitgesloten en stroom uitval van A en B feed uitgesloten) heb ik al op papier staan. Hierbij moet u aan minimaal 10U denken, echter adviseer ik hierbij iets groter te gaan en een paar extra servers te plaatsen aangezien dit betrekkelijk weinig extra kost en de redundantie extreem verbetert. Een vrijblijvende offerte is uiteraard altijd mogelijk.

Hierbij zal u de apparatuur kopen (al dan niet via ons) en kunt u de apparatuur via ons colocated neer hangen, eventueel met 2 netwerken zodat het redundant is. Bij een offerte geven we uiteraard ook aan hoe alles opgebouwd word.

MikeN
28/12/05, 16:34
Neem gewoon is contact op met een partij als Akamai ofzo, die zijn gespecialiseerd in het verschepen van grote hopen data naar veel mensen.

luser
28/12/05, 16:44
Als 95% van je publiek in BE zit zou ik het toch aanraden een hoster te zoeken in InterXion (of allesinds dicht bij BNIX).

Telenet bv zit niet op AMS-IX, hier gaat meestal 60% van het BE verkeer naartoe afhankelijk van de doelgroep.
Verder hoe minder hops hoe minder fails en vertragingen mogelijk zijn.


Om even wat praktischer in te gaan op je vragen zijn er nog een aantal punten nodig:
- Ben je van plan iets van compressie te implementeren (comp-lzo)?
- Wat kost downtime? Ben je tevreden met een setup die 99.9% haalt of is het zo belangrijk dat een 5 9's eraan moet?
- Kan je per gebruiker limieteren, hoe belangrijk is het dat hij het snel heeft?
Met de stijgende snelheden van access providers is het best interessant een user te cappen op 1mbps of een max aantal slots open te houden voor de downloads.

Zoek je gewoon een hoster voor de content en dus die heel de infrastructuur zelf beheert of zoek je een hoster die de infrastructuurt bouwt en beheert voor jullie?

Mikey
28/12/05, 16:46
Tevens zal voor 500mbit vast dataverkeer wat in de toekomst nog wel verder zou kunnen groeien een eigen netwerk starten al de moeite lonen. Mocht de data gee priority hebben op snelheid en beste routes dan zullen er mooie data prijzen te behalen zijn met peerings en de wat goedkopere transits.

luser
28/12/05, 16:54
Origineel geplaatst door Andromedaris

Het gaat hier over een gepersonaliseerd journaal in videovorm.


Zou je dan beter niet naar een streaming oplossing zoeken?

Nadeel is dan wel weer dat bij netwerkproblemen de meeste users dit merken.

Andromedaris
28/12/05, 17:04
Ja, streaming is natuurlijk een mogelijkheid. Alleen blijft het dataverkeer wel identiek denk ik dan?

Ik heb jaren geleden veel over multicasting gelezen maar tegenwoordig hoor je daar nog bitter weinig over. Netwerken, rooters,... zouden dan volledig moeten aangepast worden?

Luser:- Kan je per gebruiker limieteren, hoe belangrijk is het dat hij het snel heeft?
Met de stijgende snelheden van access providers is het best interessant een user te cappen op 1mbps of een max aantal slots open te houden voor de downloads.

Koen: Dit zou inderdaad een goeie oplossing zijn. Snelheid is niet zo belangrijk. We downloaden toch alleen wanneer er geen ander dataverkeer is bij de client.

Luser: Ben je van plan iets van compressie te implementeren (comp-lzo)?

Ja, we compresseren alle data maximaal voor we ze doorsturen naar de clients.

Thx!

alexw4u
28/12/05, 17:07
Is het niet mogelijk om een deel van de data bij de gebruiker te laten ... ?

Mark17
28/12/05, 17:16
met een commitment van 500 mbit is een verbinding naar bnix geen probleem voor veel partijen lijkt mij. houd er bij een eigen netwerk rekening mee dat je minimaal 3 uplinks moet hebben (minder is gewoon niks) en een totale capaciteit moet hebben die 3 keer zo hoog ligt als het gebruik doordat uitbreiden "langzaam" gaat. bij een eigen netwerk heb je ook routers nodig. misschien een idee om een keer om de tafel te gaan zitten ergens om een en ander te overleggen? uiteraard wil ik u van dienst zijn en ik geef ook toe dat ik net als alle partijen op dit forum die colocatie en webhosting aanbieden dat ik er uiteindelijk wel voordeel bij wil hebben.

luser
28/12/05, 17:21
Origineel geplaatst door Andromedaris
Ja, streaming is natuurlijk een mogelijkheid. Alleen blijft het dataverkeer wel identiek denk ik dan?


Je kan je stream misschien on the fly samenstellen (met 30sec vertraging bv, zoals streaming van een evenement).


Origineel geplaatst door Andromedaris

Ik heb jaren geleden veel over multicasting gelezen maar tegenwoordig hoor je daar nog bitter weinig over. Netwerken, rooters,... zouden dan volledig moeten aangepast worden?


Klopt, de routers moeten support voor dit hebben. De meeste providers werken intern op hun netwerken al met multicast (zie telenet streaming van bep radio's bv). De connectie tussen de netwerken is meer een probleem. Kan het wel begrijpen dat sommige transit providers zoiets niet graag zien komen.
Op NL-IX en AMS-IX en ook BNIX (dachtik) heb je al aparte multicast vlan's, tis al een begin nu hopen dat ze er verder mee doen .

Nu sinds je stream niet static is zoals ik begreep en de file afhankelijk is van de gebruiker zal je ook bij multicast evenveel outgoing streams hebben.


Origineel geplaatst door Andromedaris

Luser:- Kan je per gebruiker limieteren, hoe belangrijk is het dat hij het snel heeft?
Met de stijgende snelheden van access providers is het best interessant een user te cappen op 1mbps of een max aantal slots open te houden voor de downloads.

Koen: Dit zou inderdaad een goeie oplossing zijn. Snelheid is niet zo belangrijk. We downloaden toch alleen wanneer er geen ander dataverkeer is bij de client.


Per verbruiker een shape van bv 256kbps, bij 4000 current connects heb je dan 30min lang een stream van 1gbps. Nog altijd een hoop verkeer. Gelijkaardig wa verkeerspatroon als streaming dan.



Origineel geplaatst door Andromedaris

Luser: Ben je van plan iets van compressie te implementeren (comp-lzo)?

Ja, we compresseren alle data maximaal voor we ze doorsturen naar de clients.

Thx!

Er moet dus op delen van het systeem (hetgene dat de compressie doet) aardig wat cpu power aanwezig zijn.

Andromedaris
28/12/05, 17:24
Mark 17: uiteraard wil ik u van dienst zijn en ik geef ook toe dat ik net als alle partijen op dit forum die colocatie en webhosting aanbieden dat ik er uiteindelijk wel voordeel bij wil hebben.

Koen: Geen probleem man, ik vind het al super dat jullie allemaal antwoorden op mijn vragen.

Als ik alle reacties tot hiertoe samenvat:

5TB dataverkeer per dag spreiden over verschillende servers, gebruik makend van loadbalancing en mits goede keuze van de locatie van het serverpark met de juiste verbindingen (InterXion of BNIX), is dit allemaal technisch reliseerbaar?

Is er iemand die weet of multicasting een mogelijke oplossing is of zijn de Telenetters en Skynetters van deze wereld daar nog niet klaar voor?

Thx!

luser
28/12/05, 17:34
Origineel geplaatst door Andromedaris

Als ik alle reacties tot hiertoe samenvat:

5TB dataverkeer per dag spreiden over verschillende servers, gebruik makend van loadbalancing en mits goede keuze van de locatie van het serverpark met de juiste verbindingen (InterXion of BNIX), is dit allemaal technisch reliseerbaar?


Ik doelde met Interxion de locatie omdat BNIX hierop aanwezig is. Je moet rekenen dat je van elke andere locatie transportkosten (voor 95% van je verkeer) naar hier zal moeten betalen (mocht je zelf op BNIX gaan).
Tzijn voorbeelden :).

(ik weet niet in hoever je technisch kennis hebt van deze zaken, als je vragen hebt vind je op dit forum zeker hulp)

Technisch is zo een setup mogelijk maar het zal deels van jullie applicatie afhangen.


Origineel geplaatst door Andromedaris

Is er iemand die weet of multicasting een mogelijke oplossing is of zijn de Telenetters en Skynetters van deze wereld daar nog niet klaar voor?

Thx!

Misschien even praten met de providers zelf, of met mensen die in de multicast vlan's zitten.
Ik vermoed dat de meeste mensen er nog niet klaar voor zijn ;) Laat staan de aparatuur.

Nu sinds je veel verkeer op BNIX kan dumpen en misschien zelf het verkeer alleen via hier wilt laten gaan (de files) koop je in onder de 10euro per mbit.

Voor nederland kan je desnoods een soort proxy onderbrengen bij een provider met een groote ams-ix.

Mark17
28/12/05, 18:39
een verbinding naar bnis zou opgezet moeten worden icm een verbinding naar een andere partij voor de laagste prijs of je moet het over transits gooien (wat bij 500 mbit ook onder de 10 euro/mbit kan).

technisch is het te realiseren. zelf zou ik in nederland de servers plaatsen en een lijn naar bnix huren, het is iets duurder maar dan heb je alles zeer goed voor elkaar.

luser
28/12/05, 18:43
Origineel geplaatst door Mark17
een verbinding naar bnis zou opgezet moeten worden icm een verbinding naar een andere partij voor de laagste prijs of je moet het over transits gooien (wat bij 500 mbit ook onder de 10 euro/mbit kan).


Klopt als je voor deze afnames aanklopt bij cogentco ofzo krijg je zeker een leuke prijs. Reken wel nog leasing of afschrijving van je materiaal in je mbitprijs (netwerkmateriaal, niet de servers).

Mark17
28/12/05, 19:26
Origineel geplaatst door luser


Klopt als je voor deze afnames aanklopt bij cogentco ofzo krijg je zeker een leuke prijs. Reken wel nog leasing of afschrijving van je materiaal in je mbitprijs (netwerkmateriaal, niet de servers).

dat klopt geheel, echter valt die afschrijving behoorlijk mee

crazycoder
28/12/05, 22:53
Origineel geplaatst door Andromedaris
- Ik weet dat het nog moeilijk is om in deze embryonale fase al een prijsschatting te maken, maar is het mogelijk een prijs op te maken met de parameters : 100.000 clients die dagelijks 50 MB aan data binnenhalen. (gebruikers zullen zich voor 95% in Belgie bevinden)

Alvast bedankt!
Krijg het idee dat een aantal mensen $ tekens in hun ogen krijgen.. Ik zie dan ook de meest fraaie oplossingen langs komen.

Het is natuurlijk goed en verstandig om jezelf te orienteren in de oplossing die bij de te verwachten aantal klanten nodig is. Maar... Zolang het geheel nog geen grote vormen aan gaat nemen is het wellicht niet onverstandig om alvorens er in loadbalancers etc etc geinvesteerd wordt te beginnen met 1 of meerdere colocated servers.
Verdeling van de load kan door gebruik te maken van round robin. Het is wat primitief en zeker niet helemaal zuiver. Maar alvorens $$$$$$ uit te geven kan het zeker een oplossing bieden.

Een oplossing met round robin is snel genoeg omgebouwd naar een oplossing met loadbalancers..

Mark17
28/12/05, 23:48
Origineel geplaatst door crazycoder

Krijg het idee dat een aantal mensen $ tekens in hun ogen krijgen.. Ik zie dan ook de meest fraaie oplossingen langs komen.

Het is natuurlijk goed en verstandig om jezelf te orienteren in de oplossing die bij de te verwachten aantal klanten nodig is. Maar... Zolang het geheel nog geen grote vormen aan gaat nemen is het wellicht niet onverstandig om alvorens er in loadbalancers etc etc geinvesteerd wordt te beginnen met 1 of meerdere colocated servers.
Verdeling van de load kan door gebruik te maken van round robin. Het is wat primitief en zeker niet helemaal zuiver. Maar alvorens $$$$$$ uit te geven kan het zeker een oplossing bieden.

Een oplossing met round robin is snel genoeg omgebouwd naar een oplossing met loadbalancers..

het ligt er net aan hoeveel zekerheid je wenst. indien je veel zekerheid wilt moet je voor een loadbalancer gaan, zo niet dan kun je voor 1 of meer losse colocated servers gaan.

sander
29/12/05, 01:22
met een goeie round robin configuratie met behulp van check scripts of de servers nog up zijn etc is er zeker een goeie zekerheid te geven dat alles naar wens blijft draaien.

crazycoder
29/12/05, 23:07
Origineel geplaatst door Mark17
het ligt er net aan hoeveel zekerheid je wenst. indien je veel zekerheid wilt moet je voor een loadbalancer gaan, zo niet dan kun je voor 1 of meer losse colocated servers gaan.
Denk dat jij niet goed heb gelezen.

Verder betwijfel de juistheid van jouw claims.

CharlieRoot
30/12/05, 01:29
Origineel geplaatst door crazycoder

Denk dat jij niet goed heb gelezen.

Verder betwijfel de juistheid van jouw claims.

Geheel mee eens.

Als ik deze topic zo helemaal doorlees denk ik dat menig reactie iets 'overdone' is. Het gaat hier om pure dataverplaatsing (niets lastigs) met weinig haken of ogen.

Ik zou zeggen, colocatie op meerdere locaties in NL en BE. Ik denk dat met de huidige snelheden van internet het niet zó belangrijk meer is of het in NL of BE geplaatst is, snelheden blijven omhoog gaan en ook in de toekomst zal dit zo blijven. Het verschil is wel te merken bij zeer groot verbruik maar voor 50 MB per client zal dit niet heel erg zijn.

Is de kennis aanwezig dan is een eigen netwerk in het datacentrum geen slecht idee. Het moet natuurlijk wel lonen.

Ik zou zoiets simpel beginnen, blijkt het echt een hit te worden dan kun je altijd uitbreiden;

Voorbeeld;

Op 2 locaties het volgende;
2x P4 3.0 Ghz (+/- 1-2GB ram)

Totaal heb je dan 4 servers waar de data vanaf zou kunnen komen op verschillende locaties (als mirror).

Mocht het echt goed lopen, breid uit met load balancing en eventueel een eigen netwerk.

MediaServe
30/12/05, 01:50
Hoi Koen,

Ik kan het niet laten om even uitgebreid te reageren ;)
Origineel geplaatst door Andromedaris
Ik heb jaren geleden veel over multicasting gelezen maar tegenwoordig hoor je daar nog bitter weinig over. Netwerken, rooters,... zouden dan volledig moeten aangepast worden?Multicasting zou inderdaad leuk zijn, echter is dit heel lastig toe te passen in een publieke omgeving. Voor zover ik weet wordt multicasting eigenlijk alleen binnen netwerken toegepast. Denk bijvoorbeeld aan de radio en televisie streams die veel providers aanbieden. Alle hardware (dus ook van alle transit providers) moet inderdaad multicasting ondersteunen. Ik denk niet dat je zo'n project gemakkelijk van de grond krijgt op basis van multicasting. Bovendien weet je misschien niet precies waar alle klanten zitten.
Origineel geplaatst door Mark17
het ligt er net aan hoeveel zekerheid je wenst. indien je veel zekerheid wilt moet je voor een loadbalancer gaan, zo niet dan kun je voor 1 of meer losse colocated servers gaan. Met een loadbalancer heb je een single point of failure, dat is een groot nadeel wat in dit geval helemaal niet nodig is. Het is trouwens al vaker gezegd, je kunt nooit 100% uptime garanderen! Als je met round robin zou werken, op bijvoorbeeld 10 servers, dan is bij de uitval van een server maar 10% van je systeem down. Maar als je loadbalancer eruit vliegt, dan is je systeem 100% down. Een loadbalancer is niet de oplossing om downtime te voorkomen, een loadbalancer is bedoeld om de load te verdelen ;)

Om even toe te lichten wat round robin doet. Hierbij kiest de computer van de gebruiker willekeurig een server uit die wordt aangeboden. Zo worden alle servers dus gelijkmatig belast, zonder een single point of failure. Je moet natuurlijk wel je DNS servers goed opstellen, maar dat is geen probleem aangezien het DNS principe hier op is voorbereid. Je kunt dus gerust drie fysieke DNS servers gebruiken op drie verschillende locaties in verschillende netwerken.

De DNS servers worden zo ingesteld dat wanneer een server uit het systeem down is, deze niet meer wordt aangeboden aan de gebruikers. Dit gaat niet 100% naadloos, maar kost een paar minuten. Gelukkig gaan servers tegenwoordig niet meer zo gemakkelijk down, dus je uptime zal gigantisch hoog liggen op deze manier. Bovendien is het een goedkope oplossing.

Het netwerk redundant maken is ook geen probleem. Je kunt gemakkelijk een switch opstellen die pas actief wordt als de andere switch niet meer werkt. Dus als een switch uitvalt, neemt de fallback switch al het verkeer over. Daarnaast zet je SMS monitoring op de servers los, met een aantal engineers die eventuele problemen per direct kunnen oplossen. En je hoeft je nergens zorgen om te maken ;)

Wat betreft de connectiviteit; ik zou dus twee switches opstellen die redundant op het netwerk zijn aangesloten. Gigabit uplinks (glas) en 100 Mbps downlinks (UTP). Iedere server kun je uitrusten met twee netwerkpoorten, welke beide op een andere netwerkswitch zijn aangesloten. De tweede switch gaat pas aan als de eerste het begeeft. Alle apparaten kun je apart afzekeren en eventueel uitrusten met redundante voedingen (op twee verschillende stroomgroepen). Conclusie: geen single point of failure meer, alles blijft gewoon doordraaien als 1 of meerdere apparaten uitvallen.

Een groeiplan zou inderdaad niet verkeerd zijn. Bij ons zou het bijvoorbeeld geen probleem zijn om eerst een 100 Mbps flatfee verbinding af te nemen, deze kun je dan later met stappen van 100 Mbps uitbreiden. Dit is natuurlijk binnen enkele dagen uit te breiden. Maak natuurlijk duidelijke prijsafspraken en leg dit vast in een contract.

Ik zou voor XEON of Opteron servers kiezen, aangezien deze goed overweg kunnen met veel transacties. Daar moet toch minimaal 2048 MB geheugen in, met de optie om die flink uit te breiden. Voor de opslag ga je zonder enige twijfel voor SCSI schijven. Deze hebben de beste toegangstijden en de minste uitval. Ga niet voor RAID 0 (striping) en eventueel wel voor RAID 1 (mirroring). Maak sowieso gebruik van hardwarematige RAID controllers, dit verhoogt de stabiliteit en snelheid aanzienlijk!

Een prijsindicatie geven is lastig, maar dit moet je sowieso kunnen lukken voor minder dan 10 duizend euro per maand, uitgaande van de 100.000 gebruikers per dag. Maar je kunt gemakkelijk beginnen met twee servers en veel minder dataverkeer, waarmee je dus kunt beginnen voor nog geen duizend euro.

Tip: Maak gewoon een afspraak met een bedrijf om de details te bespreken en laat alles vastleggen in een goed contract. Maar dit zul je zelf waarschijnlijk ook al wel bedacht hebben ;)

Oh ja, ik zag net een tip over Akamai voorbij komen. Neem daar eventueel eens contact mee op! Succes in ieder geval :D

Swiftway-UK
30/12/05, 02:21
Mediaserve heeft het deels bij het rechte eind, echter wil ik het volgende corrigeren en nodig ik anderen uit om mij weer te corrigeren :)

"Met een loadbalancer heb je een single point of failure, dat is een groot nadeel wat in dit geval helemaal niet nodig is."

De later aangehaalde Akamai werkt ook met loadbalancers, zij maken gebruik van "global load balancers" en net zoals switches kunnen deze prima redundant uitgevoerd worden.

"Het is trouwens al vaker gezegd, je kunt nooit 100% uptime garanderen! "

Het word vaak genoeg gedaan, helaas zijn deze claims niet terecht. Je kunt 100% dicht benaderen, tegen een relatief (te) hoge prijs.

"als je met round robin zou werken, op bijvoorbeeld 10 servers, dan is bij de uitval van een server maar 10% van je systeem down. Maar als je loadbalancer eruit vliegt, dan is je systeem 100% down."

Dat is zeker niet zo, round robin DNS werkt iets anders dan dat je hier beschrijft. Round robin geeft nog altijd de hele lijst beschikbare hosts aan je computer (en dus browser) door echter in andere volgordes van prioriteit.

Browsers proberen eerst contact te zoeken met host 1, als dat niet lukt (na de time out) met host 2 etc.

Echter kun je load balancers tegenwoordig;) ook reduntant uitvoeren.

"Een loadbalancer is niet de oplossing om downtime te voorkomen, een loadbalancer is bedoeld om de load te verdelen"

Het is ook een aardige tool om de kans op downtime te verkleinen hoor, mits op de juiste wijze ingezet.

"Om even toe te lichten wat round robin doet. Hierbij kiest de computer van de gebruiker willekeurig een server uit die wordt aangeboden. "

Weer fout, zie boven. Round robin geeft de volledige lijst door, echter steeds in andere volgorde. Bijvoorbeeld query 1:

www.testurl.com =

62.212.75.121
34.123.53.12
56.71.96.12

Query 2:

www.testurl.com =

34.123.53.12
56.71.96.12
62.212.75.121

En laat dan aan de host over wat hij ermee gaat doen. (Mikey weet meer van DNS hier dan wie dan ook, dus als je wil reageren en ik heb het mis, i stand corrected ;))

"Het netwerk redundant maken is ook geen probleem. Je kunt gemakkelijk een switch opstellen die pas actief wordt als de andere switch niet meer werkt. Dus als een switch uitvalt, neemt de fallback switch al het verkeer over. "

Dit kan natuurlijk ook met een load balancing "switch"

"Een groeiplan zou inderdaad niet verkeerd zijn. Bij ons zou het bijvoorbeeld geen probleem zijn om eerst een 100 Mbps flatfee verbinding af te nemen, deze kun je dan later met stappen van 100 Mbps uitbreiden. Dit is natuurlijk binnen enkele dagen uit te breiden. Maak natuurlijk duidelijke prijsafspraken en leg dit vast in een contract."

Bij de meeste serieuze hosters is afspraken maken geen probleem (lijkt me)

TS kan echter het beste een tweetal locaties kiezen naar mijn idee en kiezen voor een simpele "global" load balanced solution.

"Ga niet voor RAID 0 (striping) en eventueel wel voor RAID 1 (mirroring). "


Ik zou het andersom aanbevelen, indien keuze uit de twee technieken, gezien backup geen issue is (file word dagelijks gewijzigd) echter indien mogelijk, ga voor RAID 51.

"Oh ja, ik zag net een tip over Akamai voorbij komen. Neem daar eventueel eens contact mee op! Succes in ieder geval"

Akamai is erg duur en leuk voor global load balancing, niet voor de distributie van een (1) 50 mb file aan "slechts" 100 000 bezoekers per dag.

Het is echt geen enorme load voor een degelijk netwerk en een klein cluster.

MediaServe
30/12/05, 02:45
Bedankt voor de aanvulling, daar zit wel iets in wat je zegt. :)

Met RAID zou ik niet voor striping gaan omdat je kans op uitval groter wordt en de zoektijden op de hardeschijf worden ook vaak ietsje groter. Het enige voordeel van striping is de doorvoersnelheid, maar dat lijkt mij in dit geval niet echt nodig. De RAID-1 die ik aanbeveel is dus niet voor de backup van data, maar voor de uptime/betrouwbaarheid van de server :)

(wat is redundancy toch een heerlijk woord :D)

Ik denk zelf dat in dit geval Round Robin een betere keuze is. Maar uiteraard afhankelijk van de situatie en de uitwerking van het systeem. Als je gaat loadbalancen, doe het dan in ieder geval wel goed :p

Het is misschien geen enorme load, maar wel genoeg traffic en server belasting om een goed plan voor te (laten) maken ;)

Stefan Mensink
30/12/05, 03:00
Origineel geplaatst door Swiftway-UK
"als je met round robin zou werken, op bijvoorbeeld 10 servers, dan is bij de uitval van een server maar 10% van je systeem down. Maar als je loadbalancer eruit vliegt, dan is je systeem 100% down."

Dat is zeker niet zo, round robin DNS werkt iets anders dan dat je hier beschrijft. Round robin geeft nog altijd de hele lijst beschikbare hosts aan je computer (en dus browser) door echter in andere volgordes van prioriteit.

Browsers proberen eerst contact te zoeken met host 1, als dat niet lukt (na de time out) met host 2 etc.

Dit is een misvatting die vaker voorkomt. De meeste browsers kiezen geen andere hosts als de eerste down is.

Een browser vraagt aan het OS gewoon het IP van de website. Round-robin geeft dan een redelijk willekeurige terug (nameservers geven ze ALLEMAAL terug, maar in willekeurige volgorde; het OS pakt dan meestal de eerste). Vervolgens verbindt de browser met dat IP. Werkt dat IP niet, dan is het doorgaans einde verhaal. Punt uit.

Gaat het echter om je eigen applicatie, dan houdt niets je natuurlijk tegen zelf een lookup te doen, en bij onbereikbaar zijn van 1 host een volgende te proberen, etc. Zo wordt het wel een erg sterke oplossing.

Swiftway-UK
30/12/05, 03:29
Zo leren we allemaal weer wat :)

Overigens kan de TS zijn applicatie natuurlijk wel de hele lijst laten afwerken, het is immers geen browser. De applicatie bepaalt in dit geval of het de tweede optie gaat uitproberen.

http://hacks.oreilly.com/pub/h/79

"As most applications only use the first address returned by DNS, this works rather nicely. Approximately half of the requests will go to each address, and therefore the load of two servers should be roughly half of that of a single server. We set the TTL low (to 60 seconds) to prevent any intervening caching DNS servers from hanging onto one sort order for too long, which will hopefully help keep the number of requests to each host more or less equal.

It is only useful to spread out the load if all of the servers are in agreement about what they're serving. If your data gets out of sync, then browsers might get one version of a web page on the first hit and another when they hit reload. If you're looking for a way to keep that from happening, take a look at . "

In dit geval lijkt het me eenvoudig, om de applicatie in kwestie een "reload" te laten uitvoeren zodra er geen data terugkomt na een request.

Cisco Local Director is overigens ook een goede oplossing, niet eens erg prijzig als je er simpelweg een aantal van Ebay afplukt.

Ik ben het zeker met Thomas eens dat er een goed plan gemaakt dient te worden!

Swiftway-UK
30/12/05, 04:00
Edit time voorbij, laat ik eens concreet antwoord geven op de vragen van de TS en wat aanvullingen op diverse antwoorden van collegas.

Eigen netwerk lijkt me niet zinvol, het kost veel tijd, geld en expertise om dit te bouwen en onderhouden. In tegenstelling tot wat velen denken, is het niet zinvol om dit voor 500 mbit verkeer te doen (uit een kosten/baten oogpunt). Denk eraan dat je een full time staff nodig hebt, redundante routers en veel tijd om een dergelijk netwerk te realiseren. Zeker als je een zekere uptime wilt kunnen garanderen.

Een of twee fulltimers die het netwerk onderhouden is niet voldoende, tenzij dit personen zijn die nooit ziek worden, weinig slaap nodig hebben, geen vakantie nodig hebben en nooit op stap gaan etc ;)

BNIX is verder een lastige IX, het is zeer moeilijk om de juiste peers te verzamelen (denk aan telenet) zonder goede contacten.

Wat voor hardware is er nodig?

Ik denk dat een klein NFS, SCSI raid 51 van zeg een aantal (12) 15K RPM SCSI disks voor data doorvoer voldoende is, dit geeft voldoende doorvoersnelheid en tevens de gewenste redundantie. Je kunt gaan voor qua opslag kleine harde schijven, gezien opslagruimte geen prioriteit is, je serveert immers slechts dagelijks een file van 50 megabyte.

Dit connecteer je met gigabit fiber naar een klein webcluster van een drietal dual xeons of een drietal (gebruikte, Ebay) quad SUN 220R servers met 4 gigabyte ram, hiervoor plaats je twee load balancers (al dan niet hardware, ik vind Alteon erg mooie Load balancers) verbonden met gigabit ethernet naar een provider verbonden met enkele goede transit providers "and you are good to go;)"

MediaServe
30/12/05, 04:05
tenzij dit personen zijn die nooit ziek worden, weinig slaap nodig hebben, geen vakantie nodig hebben en nooit op stap gaan, geen vrije tijd nodig hebben etcKlinkt als een gemiddelde IT'er hoor :D

Swiftway-UK
30/12/05, 04:07
:) dat is wel weer zo ;)
Maar we worden allemaal wel eens ziek en ongelukjes zitten in een klein hoekje.

CharlieRoot
30/12/05, 12:38
Conclusie tijd?!

Simpel beginnen, niet te over-done maken en later uitbreiden als echt blijkt dat het een hit is.

Geen eigen netwerk, te duur. Geen moeilijke oplossingen maar bijv dubbele DNS records doen wonderen.

luser
30/12/05, 12:58
Om even verder te gaan op de loadbalancer.

Als je met degelijk spul werkt is het zeker niet zo dat 10% down gaat vanaf 1 machine dood is bij een cluster van 10. Verder kan je een zulke loadbalancer ook redundant uitvoeren dat ze het ip van elkaar overnemen vanaf een dood is. Zo kan je geen 100% uptime garanderen maar wel een 5 9's behalen.

Om even een praktischer voorbeeld te geven. Enkele topic's geleden verkocht ik een extreme summit met 'i' chipset. Deze heeft een server load balancing functie.
Je maakt hierop een pool van servers aan en stelt ook direkt in op wat voor een manier hij moet controlleren of deze wel echt leven.
Mogelijkheden hiervan zijn:
- Simpele ping check
- Layer4 port test (is de http poort wel open bv, hij kan zelf zover ik weet een index.html vergelijken met die die van de server komt)
Geeft de server geen teken van leven terug wordt hij ook uit de pool gegooit. Redelijk failsave toch als defecte machines na 10sec (of minder) eruit gekickt worden. Komen ze back worden ze binnen de 60sec terug toegevoegt.

Voor de load balancing zelf heb je dan ook verschillende mogelijkheden:
- Round robin: elke request wordt naar de volgede server gestuurt (request 1 server 1, request 2 server 2 enz).
- Met een ratio, dus als machines verschillend sterk zijn kan je zo tweaken dat bij 3 machines 1 50% krijgt en de 2 andere elk 25%.
- Dat bij een connect een ip op 1 bep server blijft (voor sessie bv), volgende connect van ander ip wordt toegewezen aan een andere server. (dacht dat dit ook kon, zoniet kwam het van een andere loadbalancer bij ons).

Zo zie je dat round robin dns totaal nutteloos is en je met goede apparatuur veel verder shot.

Mikey
30/12/05, 13:10
Origineel geplaatst door CharlieRoot
Conclusie tijd?!

Simpel beginnen, niet te over-done maken en later uitbreiden als echt blijkt dat het een hit is.

Geen eigen netwerk, te duur. Geen moeilijke oplossingen maar bijv dubbele DNS records doen wonderen.

Dubbele dns records , gewoon round robin dus. Werkt prachtig zolang alles werkt.

Andromedaris
30/12/05, 13:10
Allemaal zeer erg bedankt voor de goeie antwoorden.

Als programmeur en dus helemaal geen netwerkdeskundige, zie ik hier wel heel wat expertise op dat vlak.
Vermits we inderdaad met een eigen applicatie gaan werken en niet met een browser; is die Round Robin inderdaad een zeer goed voorstel:

We werken op bv. 10 servers die allemaal mirrors zijn van zichzelf. Deze 10 zetten we ergens in een bestandje op de 10 servers. De Round Robin Server (RRS) meet constant de traffic op de 10 servers. Een client connecteert met de RRS en krijgt in oplvolgende volgorde van traffic, de 10 IP-adressen binnen en gaat dan downloaden van de minst drukke.
Valt de RSS uit, hebben we nog steeds de 10 IP-adressen waar we dan willekeurig een adres van gaan aanspreken. Als we dan een random hebben zal de verdeling ook tijdens de uitval evenredig gebeuren.

Eigenlijk een supersimpel algoritme dus.
Vraagje: bestaat er software die de traffic constant in 't oog houdt van de verschillende servers en deze permanent rapporteert naar een server die we dan via HTTP kunnen raadplegen?

Mark17
30/12/05, 13:22
Bij mijn weten bestaat zulke software, echter denk ik dat het slimmer is om dan naar de load te kijken van de servers (indien linux). Dan kun je beter inschatten welke server de eerste requests moet krijgen en welke bijvoorbeeld geen requests moet krijgen. Aan de hand hiervan bepaal je de volgorde, hierbij is er zelfs de optie om te kijken of de servers bereikbaar zijn, indien niet bereikbaar: tijdelijk uit de lijst halen. Met PHP en MySQL zou dit al mogelijk zijn op een linux server.

luser
30/12/05, 13:23
mrtg / rrd / rtg enz :) Genoeg keuze dus.

Swiftway-UK
30/12/05, 13:54
Koop gewoon twee loadbalancers (Extreme, Cisco, Alteon) gebruikt zijn ze niet duur, duurzaam, betrouwbaar en het scheelt je heel wat codeerwerk :)

luser
30/12/05, 14:02
Nu ik zou voor beide oplossingen gaan.

Mocht je veel problemen hebben met het ene platform kan je overschakelen naar een 2de platform.
Maar dit is natuurlijk weer een beslissing die je neemt naargelang uptime belangrijk is (en wat ie je zou kosten).

MediaServe
30/12/05, 17:19
Origineel geplaatst door Andromedaris
We werken op bv. 10 servers die allemaal mirrors zijn van zichzelf. Deze 10 zetten we ergens in een bestandje op de 10 servers. De Round Robin Server (RRS) meet constant de traffic op de 10 servers. Een client connecteert met de RRS en krijgt in oplvolgende volgorde van traffic, de 10 IP-adressen binnen en gaat dan downloaden van de minst drukke.Je slaat de spijker op de kop :)

Een paar regels code, geen extra kosten, de beste bereikbaarheid :)
Je kunt dan zelfs gemakkelijk servers verdelen over meerdere netwerken en datacentra.
Origineel geplaatst door Andromedaris
Vraagje: bestaat er software die de traffic constant in 't oog houdt van de verschillende servers en deze permanent rapporteert naar een server die we dan via HTTP kunnen raadplegen? Ja hoor, dat kan heel simpel met bijvoorbeeld MRTG of een zelfgemaakt tooltje. Via PHP of Perl zet je die waarde in een XML bestandje waarmee jullie applicatie een keuze zal maken. Dit is allemaal geen probleem en hier zijn bestaande oplossingen voor.

Mark17
30/12/05, 18:05
Origineel geplaatst door Swiftway-UK
Koop gewoon twee loadbalancers (Extreme, Cisco, Alteon) gebruikt zijn ze niet duur, duurzaam, betrouwbaar en het scheelt je heel wat codeerwerk :)

Dat is vrij weinig codeerwerk, heb het zelf toevallig ook gemaakt in php. Is een uurtje werk om het aan te passen voor deze situatie.

BoX
01/01/06, 20:34
Ik vraag me wel degelijk af .. na dit topic gelezen te hebben .. in hoeverre hier niet gewoon sprake is van zeer inefficiënte programmatuur.

Natuurlijk .. voor bijna alles is een benodigde capaciteit op netwerkgebied te regelen, maar misschien moet er eerst eens wat beter naar de applicatie zelf worden gekeken.
We praten hier over een relatief simpele videodienst die wel even (door zijn opbouw) zo ongeveer een Tucows netwerk vereist !

Mijn vragen / opmerkingen:

- Download het programma automatisch die 50 MB zonder dat de gebruiker er dagelijks om vraagt ? --> Zo ja: verspilling van dataverkeer / bandbreedte (en geld).

- BEKIJKT de klant ook daadwerkelijk die video's HELEMAAL en ELKE DAG ? Zo nee: verspilling van dataverkeer / bandbreedte (en geld).

- Is er sprake van een video-archief, zodat klanten iets kunnen bekijken van een eerdere datum (hetgeen je NOG meer dataverkeer en veel opslag kost) ?

KIES DUS VOOR STREAMING (on-demand) !! En ga niet elke dag een beetje voor noppes/nada 50 MB overgooien naar alle connected clients ! Tenzij je een Bittorent-like backbone opzet.

Ik zou zeggen : split de infra (hardware & software) in delen op naar hun te vervullen rol (ook handig om uit te breiden later) , presentatie, applicatie (logic) en opslag/streaming backbone (redundant uiteraard).

Dan kun je ook bepaalde onderdelen (bijv de streaming data servers) onderbrengen in andere datacenters / contracten. En heb je minder dik spul nodig voor de frontend en overige diensten.

Dus denk wat efficiënter, meer on-demand en modulairder.

Mark17
01/01/06, 21:41
Origineel geplaatst door BoX
- Is er sprake van een video-archief, zodat klanten iets kunnen bekijken van een eerdere datum (hetgeen je NOG meer dataverkeer en veel opslag kost) ?


Indien dit archief bij de client opgeslagen word dan kost het GEEN extra dataverkeer en geen EXTRA hardeschijf ruimte. Daarnaast zou het misschien een optie zijn om pas te gaan downloaden zodra de gebruiker van het programma erom vraagt, dan verspil je relatief weinig dataverkeer.

BoX
01/01/06, 23:35
Origineel geplaatst door Mark17


Indien dit archief bij de client opgeslagen word dan kost het GEEN extra dataverkeer en geen EXTRA hardeschijf ruimte. Daarnaast zou het misschien een optie zijn om pas te gaan downloaden zodra de gebruiker van het programma erom vraagt, dan verspil je relatief weinig dataverkeer.

Sure ... iedereen in Nederland heeft ook het archief van 'Uitzending Gemist' op zijn D: schijf staan ;)

Ik denk dat de TS beter een goeie projectleider aan kan stellen die het complete ontwikkel en deployment traject uiteen kan zetten. Het komt op mij over als dat ze niet echt weten waar ze mee bezig zijn en de onvoorspelbare kosten (en kinderziektes) graag tegemoet zien komen.

Swiftway-UK
02/01/06, 00:42
Mark17 vertelde ons, over loadbalancers:

"Dat is vrij weinig codeerwerk, heb het zelf toevallig ook gemaakt in php. Is een uurtje werk om het aan te passen voor deze situatie."

Dat stukje PHP doet dus exact wat een echte load balancer zoals Alteon doet? lijkt me niet ;)

Het gaat erom dat er een betrouwbare oplossing komt, load balancing met PHP lijkt me niet de meest ideale manier.

Mark17
02/01/06, 01:18
het deel dat PHP doet is het controleren welke servers nog load kunnen krijgen en deze als eerste geven, dit kan mits goed gedaan icm een echte loadbalancer extreem betrouwbaar zijn, in het begin zal een php oplossing waarschijnlijk wel volstaan.

uiteraard moet je voor een dubbel netwerk gaan en daarbij bijvoorkeur gaan voor 2 netwerken met een bnix aansluiting. uiteraard zou een gesprek de beste oplossing kunnen opleveren voor TS, hierbij dient de weder partij wel verstand van zaken te hebben, eventueel zouden meerdere gesprekken met verschillende partijen voor TS de beste oplossing opleveren indien TS hier tijd voor heeft.

BoX
02/01/06, 01:27
Hmm ok .. ik hou me er verder buiten hier ..

Ik vind persoonlijk dat de hele business-case rammelt en ook als HOSTER moet je oppassen dat je niet gaat investeren in een klant met een zwak plan. Dus ik raad iedereen aan hun dollar-ogen even op een wat rationeler niveau te zetten.

Voor de rest .. success TS met je idee.