Onderwerp: Hosting met gigaveel downloads...

Is het niet mogelijk om een deel van de data bij de gebruiker te laten ... ?

met een commitment van 500 mbit is een verbinding naar bnix geen probleem voor veel partijen lijkt mij. houd er bij een eigen netwerk rekening mee dat je minimaal 3 uplinks moet hebben (minder is gewoon niks) en een totale capaciteit moet hebben die 3 keer zo hoog ligt als het gebruik doordat uitbreiden "langzaam" gaat. bij een eigen netwerk heb je ook routers nodig. misschien een idee om een keer om de tafel te gaan zitten ergens om een en ander te overleggen? uiteraard wil ik u van dienst zijn en ik geef ook toe dat ik net als alle partijen op dit forum die colocatie en webhosting aanbieden dat ik er uiteindelijk wel voordeel bij wil hebben.

Origineel geplaatst door Andromedaris
Ja, streaming is natuurlijk een mogelijkheid. Alleen blijft het dataverkeer wel identiek denk ik dan?

Je kan je stream misschien on the fly samenstellen (met 30sec vertraging bv, zoals streaming van een evenement).

Origineel geplaatst door Andromedaris

Ik heb jaren geleden veel over multicasting gelezen maar tegenwoordig hoor je daar nog bitter weinig over. Netwerken, rooters,... zouden dan volledig moeten aangepast worden?

Klopt, de routers moeten support voor dit hebben. De meeste providers werken intern op hun netwerken al met multicast (zie telenet streaming van bep radio's bv). De connectie tussen de netwerken is meer een probleem. Kan het wel begrijpen dat sommige transit providers zoiets niet graag zien komen.
Op NL-IX en AMS-IX en ook BNIX (dachtik) heb je al aparte multicast vlan's, tis al een begin nu hopen dat ze er verder mee doen .

Nu sinds je stream niet static is zoals ik begreep en de file afhankelijk is van de gebruiker zal je ook bij multicast evenveel outgoing streams hebben.

Origineel geplaatst door Andromedaris

Luser:- Kan je per gebruiker limieteren, hoe belangrijk is het dat hij het snel heeft?
Met de stijgende snelheden van access providers is het best interessant een user te cappen op 1mbps of een max aantal slots open te houden voor de downloads.

Koen: Dit zou inderdaad een goeie oplossing zijn. Snelheid is niet zo belangrijk. We downloaden toch alleen wanneer er geen ander dataverkeer is bij de client.

Per verbruiker een shape van bv 256kbps, bij 4000 current connects heb je dan 30min lang een stream van 1gbps. Nog altijd een hoop verkeer. Gelijkaardig wa verkeerspatroon als streaming dan.

Origineel geplaatst door Andromedaris

Luser: Ben je van plan iets van compressie te implementeren (comp-lzo)?

Ja, we compresseren alle data maximaal voor we ze doorsturen naar de clients.

Thx!

Er moet dus op delen van het systeem (hetgene dat de compressie doet) aardig wat cpu power aanwezig zijn.

Mark 17: uiteraard wil ik u van dienst zijn en ik geef ook toe dat ik net als alle partijen op dit forum die colocatie en webhosting aanbieden dat ik er uiteindelijk wel voordeel bij wil hebben.

Koen: Geen probleem man, ik vind het al super dat jullie allemaal antwoorden op mijn vragen.

Als ik alle reacties tot hiertoe samenvat:

5TB dataverkeer per dag spreiden over verschillende servers, gebruik makend van loadbalancing en mits goede keuze van de locatie van het serverpark met de juiste verbindingen (InterXion of BNIX), is dit allemaal technisch reliseerbaar?

Is er iemand die weet of multicasting een mogelijke oplossing is of zijn de Telenetters en Skynetters van deze wereld daar nog niet klaar voor?

Thx!

Origineel geplaatst door Andromedaris

Als ik alle reacties tot hiertoe samenvat:

5TB dataverkeer per dag spreiden over verschillende servers, gebruik makend van loadbalancing en mits goede keuze van de locatie van het serverpark met de juiste verbindingen (InterXion of BNIX), is dit allemaal technisch reliseerbaar?

Ik doelde met Interxion de locatie omdat BNIX hierop aanwezig is. Je moet rekenen dat je van elke andere locatie transportkosten (voor 95% van je verkeer) naar hier zal moeten betalen (mocht je zelf op BNIX gaan).
Tzijn voorbeelden .

(ik weet niet in hoever je technisch kennis hebt van deze zaken, als je vragen hebt vind je op dit forum zeker hulp)

Technisch is zo een setup mogelijk maar het zal deels van jullie applicatie afhangen.

Origineel geplaatst door Andromedaris

Is er iemand die weet of multicasting een mogelijke oplossing is of zijn de Telenetters en Skynetters van deze wereld daar nog niet klaar voor?

Thx!

Misschien even praten met de providers zelf, of met mensen die in de multicast vlan's zitten.
Ik vermoed dat de meeste mensen er nog niet klaar voor zijn Laat staan de aparatuur.

Nu sinds je veel verkeer op BNIX kan dumpen en misschien zelf het verkeer alleen via hier wilt laten gaan (de files) koop je in onder de 10euro per mbit.

Voor nederland kan je desnoods een soort proxy onderbrengen bij een provider met een groote ams-ix.

een verbinding naar bnis zou opgezet moeten worden icm een verbinding naar een andere partij voor de laagste prijs of je moet het over transits gooien (wat bij 500 mbit ook onder de 10 euro/mbit kan).

technisch is het te realiseren. zelf zou ik in nederland de servers plaatsen en een lijn naar bnix huren, het is iets duurder maar dan heb je alles zeer goed voor elkaar.

Origineel geplaatst door Mark17
een verbinding naar bnis zou opgezet moeten worden icm een verbinding naar een andere partij voor de laagste prijs of je moet het over transits gooien (wat bij 500 mbit ook onder de 10 euro/mbit kan).

Klopt als je voor deze afnames aanklopt bij cogentco ofzo krijg je zeker een leuke prijs. Reken wel nog leasing of afschrijving van je materiaal in je mbitprijs (netwerkmateriaal, niet de servers).

Origineel geplaatst door luser


Klopt als je voor deze afnames aanklopt bij cogentco ofzo krijg je zeker een leuke prijs. Reken wel nog leasing of afschrijving van je materiaal in je mbitprijs (netwerkmateriaal, niet de servers).

dat klopt geheel, echter valt die afschrijving behoorlijk mee

Origineel geplaatst door Andromedaris
- Ik weet dat het nog moeilijk is om in deze embryonale fase al een prijsschatting te maken, maar is het mogelijk een prijs op te maken met de parameters : 100.000 clients die dagelijks 50 MB aan data binnenhalen. (gebruikers zullen zich voor 95% in Belgie bevinden)

Alvast bedankt!

Krijg het idee dat een aantal mensen $ tekens in hun ogen krijgen.. Ik zie dan ook de meest fraaie oplossingen langs komen.

Het is natuurlijk goed en verstandig om jezelf te orienteren in de oplossing die bij de te verwachten aantal klanten nodig is. Maar... Zolang het geheel nog geen grote vormen aan gaat nemen is het wellicht niet onverstandig om alvorens er in loadbalancers etc etc geinvesteerd wordt te beginnen met 1 of meerdere colocated servers.
Verdeling van de load kan door gebruik te maken van round robin. Het is wat primitief en zeker niet helemaal zuiver. Maar alvorens $$$$$$ uit te geven kan het zeker een oplossing bieden.

Een oplossing met round robin is snel genoeg omgebouwd naar een oplossing met loadbalancers..

Origineel geplaatst door crazycoder

Krijg het idee dat een aantal mensen $ tekens in hun ogen krijgen.. Ik zie dan ook de meest fraaie oplossingen langs komen.

Het is natuurlijk goed en verstandig om jezelf te orienteren in de oplossing die bij de te verwachten aantal klanten nodig is. Maar... Zolang het geheel nog geen grote vormen aan gaat nemen is het wellicht niet onverstandig om alvorens er in loadbalancers etc etc geinvesteerd wordt te beginnen met 1 of meerdere colocated servers.
Verdeling van de load kan door gebruik te maken van round robin. Het is wat primitief en zeker niet helemaal zuiver. Maar alvorens $$$$$$ uit te geven kan het zeker een oplossing bieden.

Een oplossing met round robin is snel genoeg omgebouwd naar een oplossing met loadbalancers..

het ligt er net aan hoeveel zekerheid je wenst. indien je veel zekerheid wilt moet je voor een loadbalancer gaan, zo niet dan kun je voor 1 of meer losse colocated servers gaan.

met een goeie round robin configuratie met behulp van check scripts of de servers nog up zijn etc is er zeker een goeie zekerheid te geven dat alles naar wens blijft draaien.

Origineel geplaatst door Mark17
het ligt er net aan hoeveel zekerheid je wenst. indien je veel zekerheid wilt moet je voor een loadbalancer gaan, zo niet dan kun je voor 1 of meer losse colocated servers gaan.

Denk dat jij niet goed heb gelezen.

Verder betwijfel de juistheid van jouw claims.

Origineel geplaatst door crazycoder

Denk dat jij niet goed heb gelezen.

Verder betwijfel de juistheid van jouw claims.

Geheel mee eens.

Als ik deze topic zo helemaal doorlees denk ik dat menig reactie iets 'overdone' is. Het gaat hier om pure dataverplaatsing (niets lastigs) met weinig haken of ogen.

Ik zou zeggen, colocatie op meerdere locaties in NL en BE. Ik denk dat met de huidige snelheden van internet het niet zó belangrijk meer is of het in NL of BE geplaatst is, snelheden blijven omhoog gaan en ook in de toekomst zal dit zo blijven. Het verschil is wel te merken bij zeer groot verbruik maar voor 50 MB per client zal dit niet heel erg zijn.

Is de kennis aanwezig dan is een eigen netwerk in het datacentrum geen slecht idee. Het moet natuurlijk wel lonen.

Ik zou zoiets simpel beginnen, blijkt het echt een hit te worden dan kun je altijd uitbreiden;

Voorbeeld;

Op 2 locaties het volgende;
2x P4 3.0 Ghz (+/- 1-2GB ram)

Totaal heb je dan 4 servers waar de data vanaf zou kunnen komen op verschillende locaties (als mirror).

Mocht het echt goed lopen, breid uit met load balancing en eventueel een eigen netwerk.

Hoi Koen,

Ik kan het niet laten om even uitgebreid te reageren

Origineel geplaatst door Andromedaris
Ik heb jaren geleden veel over multicasting gelezen maar tegenwoordig hoor je daar nog bitter weinig over. Netwerken, rooters,... zouden dan volledig moeten aangepast worden?

Multicasting zou inderdaad leuk zijn, echter is dit heel lastig toe te passen in een publieke omgeving. Voor zover ik weet wordt multicasting eigenlijk alleen binnen netwerken toegepast. Denk bijvoorbeeld aan de radio en televisie streams die veel providers aanbieden. Alle hardware (dus ook van alle transit providers) moet inderdaad multicasting ondersteunen. Ik denk niet dat je zo'n project gemakkelijk van de grond krijgt op basis van multicasting. Bovendien weet je misschien niet precies waar alle klanten zitten.

Origineel geplaatst door Mark17
het ligt er net aan hoeveel zekerheid je wenst. indien je veel zekerheid wilt moet je voor een loadbalancer gaan, zo niet dan kun je voor 1 of meer losse colocated servers gaan.

Met een loadbalancer heb je een single point of failure, dat is een groot nadeel wat in dit geval helemaal niet nodig is. Het is trouwens al vaker gezegd, je kunt nooit 100% uptime garanderen! Als je met round robin zou werken, op bijvoorbeeld 10 servers, dan is bij de uitval van een server maar 10% van je systeem down. Maar als je loadbalancer eruit vliegt, dan is je systeem 100% down. Een loadbalancer is niet de oplossing om downtime te voorkomen, een loadbalancer is bedoeld om de load te verdelen

Om even toe te lichten wat round robin doet. Hierbij kiest de computer van de gebruiker willekeurig een server uit die wordt aangeboden. Zo worden alle servers dus gelijkmatig belast, zonder een single point of failure. Je moet natuurlijk wel je DNS servers goed opstellen, maar dat is geen probleem aangezien het DNS principe hier op is voorbereid. Je kunt dus gerust drie fysieke DNS servers gebruiken op drie verschillende locaties in verschillende netwerken.

De DNS servers worden zo ingesteld dat wanneer een server uit het systeem down is, deze niet meer wordt aangeboden aan de gebruikers. Dit gaat niet 100% naadloos, maar kost een paar minuten. Gelukkig gaan servers tegenwoordig niet meer zo gemakkelijk down, dus je uptime zal gigantisch hoog liggen op deze manier. Bovendien is het een goedkope oplossing.

Het netwerk redundant maken is ook geen probleem. Je kunt gemakkelijk een switch opstellen die pas actief wordt als de andere switch niet meer werkt. Dus als een switch uitvalt, neemt de fallback switch al het verkeer over. Daarnaast zet je SMS monitoring op de servers los, met een aantal engineers die eventuele problemen per direct kunnen oplossen. En je hoeft je nergens zorgen om te maken

Wat betreft de connectiviteit; ik zou dus twee switches opstellen die redundant op het netwerk zijn aangesloten. Gigabit uplinks (glas) en 100 Mbps downlinks (UTP). Iedere server kun je uitrusten met twee netwerkpoorten, welke beide op een andere netwerkswitch zijn aangesloten. De tweede switch gaat pas aan als de eerste het begeeft. Alle apparaten kun je apart afzekeren en eventueel uitrusten met redundante voedingen (op twee verschillende stroomgroepen). Conclusie: geen single point of failure meer, alles blijft gewoon doordraaien als 1 of meerdere apparaten uitvallen.

Een groeiplan zou inderdaad niet verkeerd zijn. Bij ons zou het bijvoorbeeld geen probleem zijn om eerst een 100 Mbps flatfee verbinding af te nemen, deze kun je dan later met stappen van 100 Mbps uitbreiden. Dit is natuurlijk binnen enkele dagen uit te breiden. Maak natuurlijk duidelijke prijsafspraken en leg dit vast in een contract.

Ik zou voor XEON of Opteron servers kiezen, aangezien deze goed overweg kunnen met veel transacties. Daar moet toch minimaal 2048 MB geheugen in, met de optie om die flink uit te breiden. Voor de opslag ga je zonder enige twijfel voor SCSI schijven. Deze hebben de beste toegangstijden en de minste uitval. Ga niet voor RAID 0 (striping) en eventueel wel voor RAID 1 (mirroring). Maak sowieso gebruik van hardwarematige RAID controllers, dit verhoogt de stabiliteit en snelheid aanzienlijk!

Een prijsindicatie geven is lastig, maar dit moet je sowieso kunnen lukken voor minder dan 10 duizend euro per maand, uitgaande van de 100.000 gebruikers per dag. Maar je kunt gemakkelijk beginnen met twee servers en veel minder dataverkeer, waarmee je dus kunt beginnen voor nog geen duizend euro.

Tip: Maak gewoon een afspraak met een bedrijf om de details te bespreken en laat alles vastleggen in een goed contract. Maar dit zul je zelf waarschijnlijk ook al wel bedacht hebben

Oh ja, ik zag net een tip over Akamai voorbij komen. Neem daar eventueel eens contact mee op! Succes in ieder geval

Mediaserve heeft het deels bij het rechte eind, echter wil ik het volgende corrigeren en nodig ik anderen uit om mij weer te corrigeren

"Met een loadbalancer heb je een single point of failure, dat is een groot nadeel wat in dit geval helemaal niet nodig is."

De later aangehaalde Akamai werkt ook met loadbalancers, zij maken gebruik van "global load balancers" en net zoals switches kunnen deze prima redundant uitgevoerd worden.

"Het is trouwens al vaker gezegd, je kunt nooit 100% uptime garanderen! "

Het word vaak genoeg gedaan, helaas zijn deze claims niet terecht. Je kunt 100% dicht benaderen, tegen een relatief (te) hoge prijs.

"als je met round robin zou werken, op bijvoorbeeld 10 servers, dan is bij de uitval van een server maar 10% van je systeem down. Maar als je loadbalancer eruit vliegt, dan is je systeem 100% down."

Dat is zeker niet zo, round robin DNS werkt iets anders dan dat je hier beschrijft. Round robin geeft nog altijd de hele lijst beschikbare hosts aan je computer (en dus browser) door echter in andere volgordes van prioriteit.

Browsers proberen eerst contact te zoeken met host 1, als dat niet lukt (na de time out) met host 2 etc.

Echter kun je load balancers tegenwoordig ook reduntant uitvoeren.

"Een loadbalancer is niet de oplossing om downtime te voorkomen, een loadbalancer is bedoeld om de load te verdelen"

Het is ook een aardige tool om de kans op downtime te verkleinen hoor, mits op de juiste wijze ingezet.

"Om even toe te lichten wat round robin doet. Hierbij kiest de computer van de gebruiker willekeurig een server uit die wordt aangeboden. "

Weer fout, zie boven. Round robin geeft de volledige lijst door, echter steeds in andere volgorde. Bijvoorbeeld query 1:

www.testurl.com =

62.212.75.121
34.123.53.12
56.71.96.12

Query 2:

www.testurl.com =

34.123.53.12
56.71.96.12
62.212.75.121

En laat dan aan de host over wat hij ermee gaat doen. (Mikey weet meer van DNS hier dan wie dan ook, dus als je wil reageren en ik heb het mis, i stand corrected )

"Het netwerk redundant maken is ook geen probleem. Je kunt gemakkelijk een switch opstellen die pas actief wordt als de andere switch niet meer werkt. Dus als een switch uitvalt, neemt de fallback switch al het verkeer over. "

Dit kan natuurlijk ook met een load balancing "switch"

"Een groeiplan zou inderdaad niet verkeerd zijn. Bij ons zou het bijvoorbeeld geen probleem zijn om eerst een 100 Mbps flatfee verbinding af te nemen, deze kun je dan later met stappen van 100 Mbps uitbreiden. Dit is natuurlijk binnen enkele dagen uit te breiden. Maak natuurlijk duidelijke prijsafspraken en leg dit vast in een contract."

Bij de meeste serieuze hosters is afspraken maken geen probleem (lijkt me)

TS kan echter het beste een tweetal locaties kiezen naar mijn idee en kiezen voor een simpele "global" load balanced solution.

"Ga niet voor RAID 0 (striping) en eventueel wel voor RAID 1 (mirroring). "


Ik zou het andersom aanbevelen, indien keuze uit de twee technieken, gezien backup geen issue is (file word dagelijks gewijzigd) echter indien mogelijk, ga voor RAID 51.

"Oh ja, ik zag net een tip over Akamai voorbij komen. Neem daar eventueel eens contact mee op! Succes in ieder geval"

Akamai is erg duur en leuk voor global load balancing, niet voor de distributie van een (1) 50 mb file aan "slechts" 100 000 bezoekers per dag.

Het is echt geen enorme load voor een degelijk netwerk en een klein cluster.