Onderwerp: 100TB dataverkeer op 1 server ? (tips en advies gevraagd).

Oorspronkelijk geplaatst door systemdeveloper

Maar TS heeft het over (shared?) hosting met 12TB aan disks en 1000+ users. In een bak met 8GB ram. Als elke website 1 database gebruikt dan heb je groot kans dat je al 50% van je ram kwijt bent om alleen de om de indexen van de databases te preloaden. Waarmee wil je dan nog gaan cachen? Die 3-4GB die overblijven worden voor een groot deel al door apache, filesystemcache en diverse buffers opgevreten, zeker als je denkt 100TB te gaan trekken.

Bon, het streamen van een paar bestanden uit ram zal vast wel lukken, inderdaad, maar dat raakt kan nog wal met hetgeen TS voor ogen heeft, imho.

Je moet de discussie wel in context lezen he:

Oorspronkelijk geplaatst door Pantsy

Streaming trekt wel iops... Memory/cpu vind ik niet een beperking bij streaming, wel de harddisk wanneer het om grote aantallen luisteraars gaat.

Oorspronkelijk geplaatst door rensariens

Hangt van je setup af. We hebben een aantal klanten die met gemak 1Gbit vol krijgen in piekuren. Dit met 1 simpel sata schijfje.

Oorspronkelijk geplaatst door systemdeveloper

Welke 'simpele' sata heb je het dan over? Ik ken er geen simpele die continue 100MB/s kunnen pompen in hun eentje... maybe 5th gen. velocirators op 10krpm, maar dat is niet 'simpel'.

Deze discussie ging dus over streaming, niet over shared hosting. De reden dat het over streaming ging, is omdat TS stelde dat het niet mogelijk zou zijn om de volledige 100TB vol te krijgen met maar 8GB RAM, waarop er gereageerd werd dat dat weldegelijk mogelijk is (weliswaar niet met shared hosting, maar wel met iets anders zoals streaming).

Dat het niet mogelijk is om onder normale omstandigheden 100TB te trekken d.m.v. shared hosting accountjes op deze server specs, lijkt mij duidelijk. Maar het ging dus over streaming, om TS een antwoord op deze vraag te geven:

Oorspronkelijk geplaatst door mva graphics

Daarom mijn eindvraag, Hoe kan Leaseweb op een server van 8GB nu 100TB traffic aanbieden of aansluiten op een 100TB traffic netwerk ? Bij een fractie van die capaciteit aan traffic zou die server toch al over de kop gaan ?

Begrijpend lezen 2.0

Waarom Leaseweb dit aanbiedt? Vaak voor klanten die er niet naar om willen kijken. Natuurlijk is het ook vrij bewust die beperktere servers aangezien Leaseweb ook weet dat je met weinig opslag ruimte en geheugen je niet zo snel de volle 100 000GB gebruikt.

Daarnaast kan je in een bestelproces de server flink uitbreiden wat Leaseweb weer extra geld op brengt en de verhouding met de 100TB weer rechttrekt. Het leuke is aan de grote hoeveelheden traffic dat mensen zich daar vaak aangetrokken tot voelen maar uiteindelijk enkele procenten gebruiken. Zo kwam pas uit een klein onderzoekje van me hier op WHT naar boven dat er aardig grotere hosters hier zitten die met alle klanten nog niet eens de helft draaien van de 100TB. Daarom bieden veel providers het ook aan voor een scherp tarief omdat men weet dat het dus in de meeste gevallen toch lang niet verbruikt wordt en bij de enkele die het wel verbruikt wordt het dus weer gecompenseerd door een ander.

Daarnaast is 100TB enkel zo'n 330Mbps p/s (24 * 7). Waarschijnlijk 's nachts veel minder en overdag wat meer, maar een redelijke server zou dat moeten kunnen verzetten.

Ik verwacht zelf dat je 1000 klanten op de server een stuk moeilijker wordt dan de 100TB met behulp van 1 server te gebruiken. 1000 klanten met enkel html pagina's gaat prima. Ook 1000 klanten met een fatsoenlijke website met een paar bezoekers per dag gaat prima. Maar 1000 klanten op 1 server dan kan je er al vanuit gaan dat 500 klanten bagger geschreven websites op je server draaien wat ook niet meehelpt.

Wil je daarnaast 1000 klanten op 1 server? Zou ik vast wat extra telefoonlijnen neerleggen van mocht je bak een keer onderuit gaan .

Al met al 100Tb is voor een beetje server geen enkel probleem. Echter de andere factoren maken het enorm moeilijk om die 100TB te gebruiken. Ik verwacht dat je met 1000 klanten niet eens de 10TB zal aantikken.

Ook leuk is bijvoorbeeld dat veel dedicated & colocated klanten bij ons graag 1 of meerdere TB's willen maar uiteindelijk nog geen 100GB verbruiken.

Inderdaad, ik zou me ook eerder zorgen maken over die 1000 klanten dan over de storage/netwerk. Traffic is voor Leaseweb de kost niet, dus vandaar dat ze er zo veel van kunnen aanbieden. Ram kan je nog uitbreiden (afhankelijk van de setup tot 64GB) enkel de CPU is beperkt tot 2x4cores.

Verder is die 100TB ook onder voorwaarden. Het is feitelijk een fair-use policy en mag bv niet gebruikt worden voor streaming of een content delivery netwerk:
Customer shall not be entitled to use the Service for the purpose of (i) operating ‘Content Delivery Network’; and/or (ii) ‘Streaming Media Services’; except with LeaseWeb’s prior written consent, which consent may be granted or withheld at LeaseWeb’s sole discretion

Als je het bovendien zo groots wil aanpakken, zou ik persoonlijk opteren voor een andere setup dan een single box. Ten eerste kan het op meerdere plekken mis gaan waardoor potentieel 1000 klanten offline liggen en bovendien is die oplossing niet echt schaalbaar. Verder moet je ook nog een oplossing hebben om al die data te backuppen (en binnen afzienbare tijd te kunnen restoren).

Ben bang dat de TS een beetje te veel reseller gedrag vertoont. Je ziet wel vaker dat resellers die gewend zijn te denken in pakketten die als enige limieten diskspace en traffic hebben. Als je dan een "eigen server" ziet met 1000x zoveel traffic en bedenkt hoe je 100x zoveel diskspace zou kunnen hebben tegen dezelfde prijs , dan is de standaard gedachte "dan kan ik 100 keer zoveel klanten kwijt".
Dat er een stuk meer komt kijken dan alleen diskspace en traffic....tja.

Natuurlijk kun je 100TB traffic voltrekken. Dat heeft niks met de snelheid van de harddiscs te maken, want je kan ook content in je RAM plaatsen.

Maar 1000 klanten op een enkele server met SATA schijven in RAID-1 gaan niet werken. Ook niet met ZFS met die 2 SSD's als snelle caches. Er zijn namelijk altijd klanten die vage scriptjes gaan runnen die max. IO gebruiken en teveel bestanden "touchen" waardoor je cache verpest wordt. 1000 klanten op een server kan natuurlijk wel, maar zorg voor extreem goede beperkingen (bijv cgroups/cloudlinux). En je ontkomt echt niet aan SCSI/SAS schijven i.c.m. met ZFS RAID-6 of hoger wil je een beetje veilig zijn. Anders kan het zomaar zijn dat een enkele klant de overige 999 klanten down trekt.

Ik zou overigens storage apart doen, en niet op de fysieke server zelf.

Oorspronkelijk geplaatst door SF-Jeroen

1000 klanten op een server kan natuurlijk wel, maar zorg voor extreem goede beperkingen (bijv cgroups/cloudlinux). En je ontkomt echt niet aan SCSI/SAS schijven i.c.m. met ZFS RAID-6 of hoger wil je een beetje veilig zijn. Anders kan het zomaar zijn dat een enkele klant de overige 999 klanten down trekt.

Ik zou overigens storage apart doen, en niet op de fysieke server zelf.

Dan heb je het vast niet meer over een leaseweb dedicated server, omdat die zoveel traffic voor weinig erbij doet?

Ik zal het nooit aanraden om 1000 klanten op een enkele server te draaien. Iets met "zet niet al je geld in op één paard". Ik zie dat LeaseWeb ook een server met 4x 300GB SAS 15k aanbiedt. Als je dan toch wil doorgaan met dit plan, geef dan minder schijfruimte per klant en kies voor die schijven in een leuke raid-array.