Bekijk Volledige Versie : 100TB dataverkeer op 1 server ? (tips en advies gevraagd).
mva graphics
23/11/12, 14:01
Ik zie bij Leaseweb oplossingen van 1 server met maximaal 8GB staan met daarbij maar liefst 100TB traffic.
JA ! ik wil inderdaad veel traffic maar 8GB ddr3 memory is toch veel te weinig voor de server om überhaubt zoveel traffic aan te kunnen ?
Toch heb ik niet het idee dat Leaseweb iets aan zou bieden als het onmogelijk haalbaar zou zijn.
Mijn doel is om als Reseller over te gaan op Dedicated server(s) en ik wil mij geen seconde zorgen maken over het traffic verbruik.
Ook ben ik van plan enkele websites aktief te gaan promoten en ook hier wil ik geen seconde over het dataverkeer verbruik na hoeven denken.
Nu zijn er geloof ik 2 verschillen te weten:
100 TB volledig beschikbaar
en
Aangesloten worden op een 100TB netwerk waarbij je dus traffic met anderen deelt (hoe dit precies zit weet ik ook niet).
Mijn server zou waarschijnlijk 12x 2 TB HDD in raid :2 = 12 TB schijfruimte bedragen Tevens zou ik in diezelfde server SSD drives willen hangen voor zaken welke snelheid behoeven.
Natuurlijk kan ik hier niet eindeloos klanten op hosten. Als ik niet ga oversellen zou ik bij een pakket van 100GB traffic zo'n 1000 klanten aan kunnen.
100 TB = 102400GB : 100TB = +/- 1000
Qua schijfruimte ligt dit compleet anders. Ik ga in dit voorbeeld uit van shared en ik geef maximaal 50GB per pakket, wat zonder oversellen uit komt op 1200 GB : 50 = 24 klanten maximaal conform
het maximale pakket op 1 server dan is de schijfcapaciteit vol. Eigenlijk zijn 1 TB schijven nog beter want hoe voller en drukker een harde schijf hoe langzamer hij zal worden. Maar in Theorie kan ik dan maximaal 12 klanten op 1 server onder brengen.
Stel ik verkoop allerlij verschillende hostingpakketten dan blijft de situatie zo dat ik door de schijfruimte heen ben maar slechts 2.34 TB aan traffic capaciteit heb (en het verbruik zal dan nog minder zijn).
Nu even concreet.
Zouden jullie hier een storagebox bij hangen ? Om meer schijfcapaciteit te genereren ? Let wel de server zal zo'n 256 GB DDR 3 memory krijgen. 1 Supermicro moederboard met 2 processoren. Maar ik neem niet aan dat 2 processoren eindeloos vermogen leveren. Dit betreft een 2u server model.
Stel ik hang een heel rack vol met +/- 30 van deze servers (onbetaalbaar) maar is even een voorbeeld dan zit ik nog steeds op 69 TB traffic capaciteit in totaal..
Daarom mijn eindvraag, Hoe kan Leaseweb op een server van 8GB nu 100TB traffic aanbieden of aansluiten op een 100TB traffic netwerk ? Bij een fractie van die capaciteit aan traffic zou die server toch al over de kop gaan ?
---------------------
Zelfde situatie maar dan niet voor shared hosting.
Stel ik wil met de bovengenoemde 2u server een website hosten met miljoenen pageviews veel foto's etc. Kan dit dan vanaf 1 server bij wijze van virtuele splitsing voor webserver / databaseserver / mailserver / cacheserver etc. ? + eventueel een storagebox er aan (contentserver ?)
Let wel, aannemelijk is het niet dat ik uberhaubt ooit zo'n succes behaal maar ik probeer graag helder te krijgen hoe zoeits werkt. Hoe krijg ik een configuratie in verhouding ? En hoe benut ik daadwerkelijk die 100TB zonder dat de server down gaat wegens een overload. Iemand adviseerde mij om allemaal losse 1u servers te nemen IPV 2U en vanuit daar te virtualiseren dat is echter veel duurder (allemaal losse moederborden / cpu etc. etc.
systemdeveloper
23/11/12, 14:08
12x2tb in raid 1 is iets minder dan 12.000gb.... niet 1200gb ;)
Maar wees gerust. Die 100TB ga je echt niet halen met random IO op slechts 24 sata schrijven :)
En waarom zou 100TB op zo een server niet haalbaar zijn, streaming diensten trekken niks van memory om maar een voorbeeld te geven.
Streaming trekt wel iops... Memory/cpu vind ik niet een beperking bij streaming, wel de harddisk wanneer het om grote aantallen luisteraars gaat.
rensariens
23/11/12, 14:25
Streaming trekt wel iops... Memory/cpu vind ik niet een beperking bij streaming, wel de harddisk wanneer het om grote aantallen luisteraars gaat.
Hangt van je setup af. We hebben een aantal klanten die met gemak 1Gbit vol krijgen in piekuren. Dit met 1 simpel sata schijfje.
Streaming trekt wel iops... Memory/cpu vind ik niet een beperking bij streaming, wel de harddisk wanneer het om grote aantallen luisteraars gaat.
Door logging uit te zetten kun je de iops beperken. Zolang het puur streamen is van data die van een andere plek komt is het aantal iops dan relatief beperkt.
Daar heb je inderdaad gelijk in, hangt er vanaf wat de setup is en welk streaming platform je gebruikt.
Daarbij kan je je memory gebruiken voor logging :)
systemdeveloper
23/11/12, 14:46
En waarom zou 100TB op zo een server niet haalbaar zijn, streaming diensten trekken niks van memory om maar een voorbeeld te geven.
Omdat TS over 1000 hostingklanten spreekt?
systemdeveloper
23/11/12, 14:50
Hangt van je setup af. We hebben een aantal klanten die met gemak 1Gbit vol krijgen in piekuren. Dit met 1 simpel sata schijfje.
Welke 'simpele' sata heb je het dan over? Ik ken er geen simpele die continue 100MB/s kunnen pompen in hun eentje... maybe 5th gen. velocirators op 10krpm, maar dat is niet 'simpel'.
Welke 'simpele' sata heb je het dan over? Ik ken er geen simpele die continue 100MB/s kunnen pompen in hun eentje... maybe 5th gen. velocirators op 10krpm, maar dat is niet 'simpel'.
Volgens mij is het punt van Rens dat in sommige setups er geen I/O behoefte voor streaming is (of wellicht dat er een ramdisk gebruikt wordt), en dat dan dus de gebruikte HDD irrelevant is.
Welke 'simpele' sata heb je het dan over? Ik ken er geen simpele die continue 100MB/s kunnen pompen in hun eentje... maybe 5th gen. velocirators op 10krpm, maar dat is niet 'simpel'.
Met het juiste access patroon, elke oude HD ...
1x lezen, en naar tig clients uitspelen vanuit ram .
Met het juiste access patroon, elke oude HD ...
1x lezen, en naar tig clients uitspelen vanuit ram .
Ik wil net zeggen, cache is king. Geen probleem voor RAM.
systemdeveloper
23/11/12, 16:43
Ik wil net zeggen, cache is king. Geen probleem voor RAM.
Maar TS heeft het over (shared?) hosting met 12TB aan disks en 1000+ users. In een bak met 8GB ram. Als elke website 1 database gebruikt dan heb je groot kans dat je al 50% van je ram kwijt bent om alleen de om de indexen van de databases te preloaden. Waarmee wil je dan nog gaan cachen? Die 3-4GB die overblijven worden voor een groot deel al door apache, filesystemcache en diverse buffers opgevreten, zeker als je denkt 100TB te gaan trekken.
Bon, het streamen van een paar bestanden uit ram zal vast wel lukken, inderdaad, maar dat raakt kan nog wal met hetgeen TS voor ogen heeft, imho.
Ik reageerde eerder op visser en Apoc John, niet zozeer op de vraag van de TS. Ik zal mezelf even een topicban geven. ;)
Maar TS heeft het over (shared?) hosting met 12TB aan disks en 1000+ users. In een bak met 8GB ram. Als elke website 1 database gebruikt dan heb je groot kans dat je al 50% van je ram kwijt bent om alleen de om de indexen van de databases te preloaden. Waarmee wil je dan nog gaan cachen? Die 3-4GB die overblijven worden voor een groot deel al door apache, filesystemcache en diverse buffers opgevreten, zeker als je denkt 100TB te gaan trekken.
Bon, het streamen van een paar bestanden uit ram zal vast wel lukken, inderdaad, maar dat raakt kan nog wal met hetgeen TS voor ogen heeft, imho.
Je moet de discussie wel in context lezen he:
Streaming trekt wel iops... Memory/cpu vind ik niet een beperking bij streaming, wel de harddisk wanneer het om grote aantallen luisteraars gaat.
Hangt van je setup af. We hebben een aantal klanten die met gemak 1Gbit vol krijgen in piekuren. Dit met 1 simpel sata schijfje.
Welke 'simpele' sata heb je het dan over? Ik ken er geen simpele die continue 100MB/s kunnen pompen in hun eentje... maybe 5th gen. velocirators op 10krpm, maar dat is niet 'simpel'.
Deze discussie ging dus over streaming, niet over shared hosting. De reden dat het over streaming ging, is omdat TS stelde dat het niet mogelijk zou zijn om de volledige 100TB vol te krijgen met maar 8GB RAM, waarop er gereageerd werd dat dat weldegelijk mogelijk is (weliswaar niet met shared hosting, maar wel met iets anders zoals streaming).
Dat het niet mogelijk is om onder normale omstandigheden 100TB te trekken d.m.v. shared hosting accountjes op deze server specs, lijkt mij duidelijk. Maar het ging dus over streaming, om TS een antwoord op deze vraag te geven:
Daarom mijn eindvraag, Hoe kan Leaseweb op een server van 8GB nu 100TB traffic aanbieden of aansluiten op een 100TB traffic netwerk ? Bij een fractie van die capaciteit aan traffic zou die server toch al over de kop gaan ?
Begrijpend lezen 2.0 :rolleyes:
Waarom Leaseweb dit aanbiedt? Vaak voor klanten die er niet naar om willen kijken. Natuurlijk is het ook vrij bewust die beperktere servers aangezien Leaseweb ook weet dat je met weinig opslag ruimte en geheugen je niet zo snel de volle 100 000GB gebruikt.
Daarnaast kan je in een bestelproces de server flink uitbreiden wat Leaseweb weer extra geld op brengt en de verhouding met de 100TB weer rechttrekt. Het leuke is aan de grote hoeveelheden traffic dat mensen zich daar vaak aangetrokken tot voelen maar uiteindelijk enkele procenten gebruiken. Zo kwam pas uit een klein onderzoekje van me hier op WHT naar boven dat er aardig grotere hosters hier zitten die met alle klanten nog niet eens de helft draaien van de 100TB. Daarom bieden veel providers het ook aan voor een scherp tarief omdat men weet dat het dus in de meeste gevallen toch lang niet verbruikt wordt en bij de enkele die het wel verbruikt wordt het dus weer gecompenseerd door een ander.
Daarnaast is 100TB enkel zo'n 330Mbps p/s (24 * 7). Waarschijnlijk 's nachts veel minder en overdag wat meer, maar een redelijke server zou dat moeten kunnen verzetten.
Ik verwacht zelf dat je 1000 klanten op de server een stuk moeilijker wordt dan de 100TB met behulp van 1 server te gebruiken. 1000 klanten met enkel html pagina's gaat prima. Ook 1000 klanten met een fatsoenlijke website met een paar bezoekers per dag gaat prima. Maar 1000 klanten op 1 server dan kan je er al vanuit gaan dat 500 klanten bagger geschreven websites op je server draaien wat ook niet meehelpt.
Wil je daarnaast 1000 klanten op 1 server? Zou ik vast wat extra telefoonlijnen neerleggen van mocht je bak een keer onderuit gaan :).
Al met al 100Tb is voor een beetje server geen enkel probleem. Echter de andere factoren maken het enorm moeilijk om die 100TB te gebruiken. Ik verwacht dat je met 1000 klanten niet eens de 10TB zal aantikken.
Ook leuk is bijvoorbeeld dat veel dedicated & colocated klanten bij ons graag 1 of meerdere TB's willen maar uiteindelijk nog geen 100GB verbruiken.
Inderdaad, ik zou me ook eerder zorgen maken over die 1000 klanten dan over de storage/netwerk. Traffic is voor Leaseweb de kost niet, dus vandaar dat ze er zo veel van kunnen aanbieden. Ram kan je nog uitbreiden (afhankelijk van de setup tot 64GB) enkel de CPU is beperkt tot 2x4cores.
Verder is die 100TB ook onder voorwaarden. Het is feitelijk een fair-use policy en mag bv niet gebruikt worden voor streaming of een content delivery netwerk:
Customer shall not be entitled to use the Service for the purpose of (i) operating ‘Content Delivery Network’; and/or (ii) ‘Streaming Media Services’; except with LeaseWeb’s prior written consent, which consent may be granted or withheld at LeaseWeb’s sole discretion
Als je het bovendien zo groots wil aanpakken, zou ik persoonlijk opteren voor een andere setup dan een single box. Ten eerste kan het op meerdere plekken mis gaan waardoor potentieel 1000 klanten offline liggen en bovendien is die oplossing niet echt schaalbaar. Verder moet je ook nog een oplossing hebben om al die data te backuppen (en binnen afzienbare tijd te kunnen restoren).
Ben bang dat de TS een beetje te veel reseller gedrag vertoont. Je ziet wel vaker dat resellers die gewend zijn te denken in pakketten die als enige limieten diskspace en traffic hebben. Als je dan een "eigen server" ziet met 1000x zoveel traffic en bedenkt hoe je 100x zoveel diskspace zou kunnen hebben tegen dezelfde prijs , dan is de standaard gedachte "dan kan ik 100 keer zoveel klanten kwijt".
Dat er een stuk meer komt kijken dan alleen diskspace en traffic....tja.
Natuurlijk kun je 100TB traffic voltrekken. Dat heeft niks met de snelheid van de harddiscs te maken, want je kan ook content in je RAM plaatsen.
Maar 1000 klanten op een enkele server met SATA schijven in RAID-1 gaan niet werken. Ook niet met ZFS met die 2 SSD's als snelle caches. Er zijn namelijk altijd klanten die vage scriptjes gaan runnen die max. IO gebruiken en teveel bestanden "touchen" waardoor je cache verpest wordt. 1000 klanten op een server kan natuurlijk wel, maar zorg voor extreem goede beperkingen (bijv cgroups/cloudlinux). En je ontkomt echt niet aan SCSI/SAS schijven i.c.m. met ZFS RAID-6 of hoger wil je een beetje veilig zijn. Anders kan het zomaar zijn dat een enkele klant de overige 999 klanten down trekt.
Ik zou overigens storage apart doen, en niet op de fysieke server zelf.
1000 klanten op een server kan natuurlijk wel, maar zorg voor extreem goede beperkingen (bijv cgroups/cloudlinux). En je ontkomt echt niet aan SCSI/SAS schijven i.c.m. met ZFS RAID-6 of hoger wil je een beetje veilig zijn. Anders kan het zomaar zijn dat een enkele klant de overige 999 klanten down trekt.
Ik zou overigens storage apart doen, en niet op de fysieke server zelf.
Dan heb je het vast niet meer over een leaseweb dedicated server, omdat die zoveel traffic voor weinig erbij doet?
Ik zal het nooit aanraden om 1000 klanten op een enkele server te draaien. Iets met "zet niet al je geld in op één paard". Ik zie dat LeaseWeb ook een server met 4x 300GB SAS 15k aanbiedt. Als je dan toch wil doorgaan met dit plan, geef dan minder schijfruimte per klant en kies voor die schijven in een leuke raid-array.