Bekijk Volledige Versie : [Dedi] 150MB downloads, 1500GB/m
Beste,
Ik zit met een vraag m.b.t. het huren van een server voor mijn huidige website. Het betreft een website met downloads van circa 150MB per stuk. Per maand verstoken we gemakkelijk 1000GB.
Nu is het huidige probleem (denk ik) dat we op een VPS gehost worden. Op sommige momente, bij release van een nieuwe podcast, gebeurt het dat de server dichtslibt omdat er zoveel gelijktijdige downloads zijn. Je kan dus bijvoorbeeld ook niet meer de site refreshen op het moment dat er een download bezig is. Pas als de download is afgelopen kan je weer verder surfen.
Nu is dus mijn vraag, wat is de oorzaak van dat de site (vaak) niet meer bereikbaar is? Is dit de limitatie van de huidige server hardware (1GB gegarandeerd, een octa-core PC met meerdere VPSen) of ligt het aan gebruikers die de verbinding dichttrekken met hun snelle verbindingen? Is het installeren van bijv. proFTPD gunstig om dit beter te kunnen geleiden?
De reden dat ik het in het dedicated subforum post is omdat ik me dus afvraag of het nemen van een dedicated server deze problemen zou kunnen oplossen (dus een eigen dedicated, zo niet solo, cpu etc).
Hoop het goed beschreven te hebben, ben benieuwd wat jullie ervan vinden.
Klinkt als het aantal apache processen dat "op" is. Dit is een eenvoudige instelling.
Op de server draait momenteel Plesk. Is dit dan een instelling die ik zou moeten veranderen in Plesk of zou dat in een .cfg bestand op de FTP moeten?
EDIT: @ Stewie: Precies, dat denk ik dus ook. Ik weet echter niet wat nou de verlijkingen zijn als het gaat om een VPS op een octa-core of een 'eenvoudige' P4 3.0Ghz. Stel, ik krijg 50% van CPU0, en ik zet dit met gelijke hardware tegen de 100% van de P4, is de site dan alsnog sneller met de P4?
Ik zit zelf namelijk ook na te denken over dedicated hosting, maar ik heb geen ervaring met download-intensieve websites :)
Met zoveel traffic kan je beter een dedicated nemen waarbij je wel de volledige resources krijgt. Je geeft aan dat de VPS staat op "een octa-core PC met meerdere VPSen", maar ga er maar vanuit dat je minder resources hebt dan een core van die server.
Beste is-Music,
Voor het hosten van bandbreedte oplossingen met een laag budget, kun je goed terecht bij Leaseweb.
Ik heb destijds een dedicated server met 10mbit flatfee afgenomen voor enkele maanden, voor € 39,- per maand. Elke maand 3000+ GB per maand verstoken was geen probleem voor Leaseweb. De uptime was goed, lijn was snel, de perfecte oplossing voor het hosten van files met budget.
Zie ook de nieuwe aanbieding voor € 29,- per maand: Een Sempron 3100+ inclusief 2000GB dataverkeer.
Daar zat ik zelf ook al naar te kijken, bedankt voor jullie snelle antwoorden overigens!
Maar ik ben toch een beetje 'bang' voor hosters als Leaseweb, mede dankzij enige topics hier op WHT. De prijs van 29,- p/m is natuurlijk geweldig, maar wat krijg ik daar dan voor terug? Heb ik dan ook over een jaar opeens 49,- p/m zonder dat daar duidelijk afspraken over zijn gemaakt etc.
Ik wou echter nog geen topic openen in het 'aanbiedingen' gedeelte van WHT zonder eerst informatie in te winnen over de situatie. De prijs is natuurlijk wel een punt, maar ik ga (voorbeeld, geen rechten aan ontlenen ;)) liever naar Xynta voor 70,- p/m met 1000GB en een dedicated server met goede ervaringen op verschillende sites dan dus een Leaseweb server met slechte support en vooral zeer wisselende ervaringen.
Misschien zit je op een afgeknepen verbinding? 10mbit?
Heb je al contact opgenomen met je huidige hoster hierover? Dat lijkt me de eerste stap..
Je hoeft bij Leaseweb geen support te vervangen inderdaad, als je dedicated server down is kun je er niet op rekenen dat hij weer voor minder dan € 99,- p komt, zonder dat je er zelf naar toe gaat.
Echter heb je een degelijke server met voldoende capaciteit. Aangezien ik 0,0 support nodig had om een HTTP-server op te zetten, bleek dit de beste optie voor mij.
Heb je al contact opgenomen met je huidige hoster hierover? Dat lijkt me de eerste stap..
Ik heb hier inderdaad contact over opgenomen, echter zijn dit nogal incompetente half duits/nederlandse helpdesk medewerkers (raad waar ik gehost ben). Deze kunnen me hiermee in elk geval niet verder helpen, ga zo eens googlen over die apache dingen i.c.m. Plesk en dan kijken wat eruit komt.
Misschien zit je op een afgeknepen verbinding? 10mbit?
Dit zou ik wel even na moeten vragen. Ik geloof in elk geval niet dat dit het geval is, al helemaal niet als ik naar de server specificaties kijk op de website.
Zou dit echter betekenen dat als ik echt afgeknepen ben ik dus 10Mbit heb, wat effectief 1.25MB/s kan geven, ik dus al aan de max zit als 3 mensen tegelijkertijd downloaden met 450KB/s ? Dat zou namelijk sowieso al heel zuur zijn, en dan ben ik bang bij mijn volgende host aan een Gbit netwerk te moeten om zoveel mogelijk connecties tegelijkertijd toe te laten, al dan niet gecapped.
Monitor je huidige server anders eerst eens voor je overstapt, dan kan je uitzoeken wat voor resources er gebruikt worden. Dergelijke software kan prima inzicht geven in gebruik van netwerk, disks, geheugen, apache processen, etc...
Hoe bedoel je precies monitoren? Ik heb awstats draaien waarop ik goed de statistieken kan aflezen, maar als je het hebt over CPU gebruik/RAM gebruik etc word ik uit Plesk ook niet veel wijzer. RAM gebruik staat altijd op 2GB van de 2GB (opgeslagen als cache neem ik aan) en de CPU is altijd <0.5 als het al niet <0.05 is.
Aangezien iedere download al 150MB is, zou ik zelf niet meer aanraden om dit op een VPS te doen, maar wel op een dedicated waar een aantal settings kunnen op getuned worden.
Welke settings hangt een beetje af van het totale plaatse: zijn het een groot aantal 150MB files die @ random wordne opgevraagd, of is het eerder een hitpiek, waarbij een nieuwe file héél veel wordt gevraagd, maar de rest bijna niet...
Maar het symptoom dat je beschrijft, is inderdaad een beperking die aanstaat mbt tot het maximaal aantal toegelaten connecties, lijkt me.
David
voor dat monitoren zou je lokaal eens mrtg kunnen installeren, daarmee kan je wel wat dingen zichtbaar maken. Plesk pakt voor ram/cpu gebruik gewoon het op dat moment geldende, wat door bestanden in /proc kenbaar gemaakt wordt. Heb je net nix aan.
Het is inderdaad een hitpiek die, uitgaande van 1 van de wekelijkse podcasts, op donderdag altijd massief gedownload wordt en de rest van de dagen (6 dagen, hierna worden ze members-only) langzaam afbouwt. Zaterdag is vaak nog druk aangezien de podcast dan op de nederlandse radio te horen is, maar daarna neemt het (sterk) af.
Maar is er een mogelijkheid om die maximale hoeveelheid connecties dan te verhogen of bijvoorbeeld een download te cappen op 300KB/s ? Dit zou betekenen ervan uitgaande dat ik op een 100MBit lijn zit dat ik alsnog 12.5/0.3 = 40 connecties tegelijkertijd aankan, dit zou denk ik al wel heel veel gunstiger zijn.
Of je dat in Plesk kunt instellen weet ik niet. Post eens wat je kunt vinden met bijvoorbeeld het shell commando "less /etc/httpd/conf/extra/httpd-mpm.conf"
<IfModule mpm_prefork_module>
StartServers 5
MinSpareServers 10
MaxSpareServers 15
ServerLimit 450
MaxClients 450
MaxRequestsPerChild 0
</IfModule>
Die getallen geven aan hoeveel connecties jouw server toelaat. Meer kan handig zijn, maar er zijn grenzen aan wat de server kan verwerken natuurlijk. Bij een VPS liggen die lager dan bij een dedicated.
voor dat monitoren zou je lokaal eens mrtg kunnen installeren, daarmee kan je wel wat dingen zichtbaar maken. Plesk pakt voor ram/cpu gebruik gewoon het op dat moment geldende, wat door bestanden in /proc kenbaar gemaakt wordt. Heb je net nix aan.
MRTG ziet er inderdaad mooi uit, zeker een handig programma om eens geïnstalleerd te hebben. Echter ben ik een complete idioot als het gaat om dingen te compilen, laat staan dat ik enige kennis heb van Plesk dan wel Linux in het algemeen.
Ik zal eens een ticket sturen naar de hoster, wellicht dat die het voor mij kan regelen, is tenslotte wel een managed VPS ;)
apache heeft daar wel een mod_ voor, moet je even googlen, evenals het aantal httpd processen (zoals hierboven, dat prefork gebeuren) enzo. Echter, dit (aantal processen) wordt vaak beperkt door je virtuele provider. Dat is ook de reden waarom je dan beter op dedicated over kunt gaan.
is tenslotte wel een managed VPS ;)
zeg dat dan meteen :D
Sorry, mijn fout! Jullie merken denk ik al dat ik d'r weinig kaas van gegeten heb.. Ik zou best willen proberen om MRTG te installeren en/of dat shell commando te runnen, echter gaat het compilen mij dus niet lukken en kan ik op het 'Plesk desktop' nergens een command line interface openen, laat staan uberhaupt ergens bij de instellingen etc.
Overigens geloof ik jullie op jullie woord dat ik aan de dedicated servers zal moeten, wat dus ook helemaal geen probleem is. Maar zou een 'download website' zoals deze dan genoeg hebben aan bijv. 1GB DDR2, een 3.0Ghz P4 en een 2x80GB (RAID-1) genoeg hebben? Ik heb dus geen idee hoeveel apache services je dan kan draaien (en of dat al RAM/CPU afhankelijk is) en of ik bij een dedicated server meer aan de instellingen kan veranderen.
Ik vrees echter dat het hier op de huidige VPS niet gaat lukken, mede door gebrek aan kennis aan mijn kant en dat de VPS volgens mij aardig is ingebouwd door de hoster (lees: afgeschermd voor domme dingen :)).
Tim.Bracquez
22/06/08, 23:03
Eventueel kan je ook proberen een leuk systeempje te bedenken voor het downloaden van de podcast. Dat dit niet door iedereen op hetzelfde moment te downloaden valt. Maar bijvoorbeeld leden eerst etc...
Dit gaat wel niet je probleem oplossen, hiervoor zul je de apache settings moeten aanpassen en waarschijnlijk overstappen naar een dedicated server. (hierin heb je ook managed gevallen)
Het kan wel tijdelijk een oplossing zijn voor het probleem, zoizo met een dedicated server ga je ook 'traagheid' ondervinden als iedereen ineens download van de server. (spreiding kan dan het verkeer een beetje verdelen)
Kijk eens naar mod_bandwidth en mod_throttle.
Het hosten van een simpele website die veel bandwidth verbruikt, maar niet erg dynamisch is (veel PHP/MySQL) zou niet veel cpu moeten gebruiken.
In principe moet een VPS makkelijk afkunnen.
Tim.Bracquez
22/06/08, 23:41
Het hosten van een simpele website die veel bandwidth verbruikt, maar niet erg dynamisch is (veel PHP/MySQL) zou niet veel cpu moeten gebruiken.
eventueel lighthttpd, of nginx?
Op verzoek van topicstarter verplaatst naar het managed subforum.
Allemaal bedankt voor jullie antwoorden, heb eventjes wat dingen geregeld op de server en dus wat nieuwe informatie/ontwikkelingen.
Door middel van 'WatchDog' van Plesk 8.4 (denk ik) was ik in staat om de server te kunnen monitoren, althans, hoe diepgaand dat is weet ik niet, maar ik kreeg wel flink wat emailtjes over dat de Webserver (Apache) down was. Om een indicatie te geven:
[Jun 24, 2008 09:07 PM] 'Web Server (Apache)' service stopped.
[Jun 24, 2008 09:01 PM] 'Web Server (Apache)' service stopped.
[Jun 24, 2008 07:51 PM] 'Web Server (Apache)' service stopped.
[Jun 24, 2008 07:46 PM] 'Web Server (Apache)' service stopped.
[Jun 24, 2008 06:40 PM] 'Web Server (Apache)' service stopped.
[Jun 24, 2008 06:35 PM] 'Web Server (Apache)' service stopped.
[Jun 24, 2008 07:00 AM] 'Web Server (Apache)' service stopped.
[Jun 24, 2008 06:55 AM] 'Web Server (Apache)' service stopped.
[Jun 24, 2008 06:50 AM] 'Web Server (Apache)' service stopped.
[Jun 24, 2008 06:45 AM] 'Web Server (Apache)' service stopped.
[Jun 24, 2008 05:24 AM] 'Web Server (Apache)' service stopped.
[Jun 24, 2008 05:19 AM] 'Web Server (Apache)' service stopped.
[Jun 24, 2008 04:03 AM] 'Web Server (Apache)' service stopped.
[Jun 24, 2008 03:58 AM] 'Web Server (Apache)' service stopped.
[Jun 24, 2008 02:33 AM] 'Web Server (Apache)' service stopped.
[Jun 24, 2008 02:28 AM] 'Web Server (Apache)' service stopped.
Je ziet dus dat de server onwijs vaak down gaat, en aangezien ik een logger heb die kan zien hoe vaak de bestanden gedownload wordt zou dit echt niet kunnen, de load is echt niet hoog geweest.
Ik zou best bijv. NginX willen gebruiken (ziet er uit als een mooie oplossing), echter heb ik echt 0,0 verstand van de server zelf en zou ik dus niet weten hoe het te compilen, installeren op de server. Helaas denk ik ook dat de hoster dit onwijs inbouwt, ik zou bijv. al niet eens een command line kunnen vinden in Plesk..
Vooralsnog denk ik nog steeds dat de oplossing simpel is, gewoon een managed dedicated server nemen, waarvan de hardware dus niet denderend hoeft te zijn (op de HDD na denk ik, vanwege de pieken op sommige dagen en natuurlijk de uplink naar het netwerk zelf, het liefst toch wel gigabit).
Ik neem ook aan dat het makkelijker is om dit soort software (nginx) te installeren op een dedicated server, of tenminste in overleg met de hoster?
Op verzoek van topicstarter verplaatst naar het managed subforum.
Thanks :)!
Apache valt wel heel erg vaak weg.
Als ik het goed begrijp heb je helemaal niet de mogelijkheid om in de Apache logs zelf te kijken?
Ik zou persoonlijk als eerste vragen of de hoster zou willen helpen :)
Overigens lijkt mij het een goed idee om te gaan werken met een dedicated server.
Uit eigen ervaring (mirror server) zijn er veel gelijktijdige apache & ftp connecties, en zit het ram behoorlijk vol.
Bij downloads @ hoge speed gaat de CPU load dankzij apache ook aardig omhoog.
FTP daarin tegen zorgt voor een veel lagere load :)
Even een ideetje van mij over het snelheids-"probleem" op phpfreakz is een script (php.. =)) dat downloads in kan houden, zorgt dus wel voor load (aangezien php moet draaien en het bestand in stukjes hakt, apache verzend etc...). Maar daaraantegen kun je wel 300kb/s of welke andere snelheid je ook maar wilt geven regelen.
http://www.phpfreakz.nl/library.php?sid=25371 Hoe het script werkt staat er wel boven.
Is geen hardware based oplossing dus 'kosten'-loos.