Senior/Professioneel advies gevraagd

[Concepts]

Beste,

Wij zijn bezig met de ontwikkeling van een tweetal internetconcepten. Hierbij is een sterke afhankelijkheid van de mogelijkheden die een dedicated server en een hostingrpovider biedt.

Ik stel het erg op prijs wanneer iemand met veel ervaring in dit gebied zich over het onderstaande kan buigen aangezien het impact heeft voor wat betreft de haalbaarheid van deze concepten.

Dienst-1:

Dit betreft een concept waarbij - vanuit duizenden verschillende websites - zo'n 10 miljoen http-requests per dag worden gedaan op (onze) centrale (dedicated) server. De http-pakketjes ("pagina's") die wij terugsturen zijn echter kleiner dan 1 Kbyte.

Vraag is:
1) Kan een server deze hoeveelheid requesten per dag aan? Zo ja, zijn er minimale vereisten aan de hardware (ivm instapmodel)
2) Laten hostingproviders dit aantal requesten toe op hun netwerk?
3) In welke kostenrange moeten wij denken p/m?

Dienst-2:

Dit betreft een concept waarbij via backend cronjobs elke minuut duizenden servers worden gepingt en ge-CURL-ed. Denk aan een concept als HyperSpin, hoewel dit iets anders betreft.

Vraag is:
1) Is het vanuit hostingproviders toegestaan om vanaf een dedicated server elke minuut duizenden servers (van derde) te pingen/CURLen?
2) Welke vereisten geeft dit aan de dedicated server?
3) In welke kostenrange moeten wij denken p/m?

Bij voorbaat dank!

[kilobit]

Beste,
Dit betreft een concept waarbij - vanuit duizenden verschillende websites - zo'n 10 miljoen http-requests per dag worden gedaan op (onze) centrale (dedicated) server. De http-pakketjes ("pagina's") die wij terugsturen zijn echter kleiner dan 1 Kbyte.

Vraag is:
1) Kan een server deze hoeveelheid requesten per dag aan? Zo ja, zijn er minimale vereisten aan de hardware (ivm instapmodel)
2) Laten hostingproviders dit aantal requesten toe op hun netwerk?
3) In welke kostenrange moeten wij denken p/m?

1.
10.000.000 per dag is "slechts" 115 per seconde.
Dat is behoorlijk weinig voor een goed geoptimaliseerde server.

Ik beheer een aantal servers die ieder 25.000+ requests per seconde doen.
Het gaat dan wel om dual quadcores, maar 115 p/s kan dus makkelijk op 3 jaar oude single cpu/core hardware.
Het is heel erg van belang wat de http requests inhouden.
Statische kleine files zijn erg snel te serven dmv lightly of nginx.
Als je dynamische pagina's gevoed door mysql served dmv apache wordt het al behoorlijk wat lastiger.

2.
ja

3.
Als je systeembeheerder het voldoende optimaliseert kan het af met een EUR30/maand server.

Dit betreft een concept waarbij via backend cronjobs elke minuut duizenden servers worden gepingt en ge-CURL-ed. Denk aan een concept als HyperSpin, hoewel dit iets anders betreft.

Vraag is:
1) Is het vanuit hostingproviders toegestaan om vanaf een dedicated server elke minuut duizenden servers (van derde) te pingen/CURLen?
2) Welke vereisten geeft dit aan de dedicated server?
3) In welke kostenrange moeten wij denken p/m?

1.
Ja, mits de hosts er om gevraagd hebben dat je de "tests" uitvoert.
Ten tweede, dat je een correcte manier hebt voor hosts om zich af te melden.
En als laatste, gelijk stoppen met die host zodra je provider een abuse melding krijgt

2.
Net als antwoord bij vraagstuk 1, alles ligt aan optimalisatie.

3.
Ook mogelijk voor EUR30/maand.

Allemaal zijn antwoorden op je vragen.

Maar ik kan me voorstellen dat dat er meer bij komt kijken.
Het lijkt me dat er op een gegeven moment iets moet gebeuren met de data die wordt gegenereerd. Als je dat wilt opslaan kost dat dus storage space. Als je de data wilt verwerken kost dat waarschjnlijk CPU power, en brengt dus ook weer kosten met zich mee.

[wonko]

het hangt er vooral van af wat de webserver bij elke "hit" moet doen. Moet ie telkens een gewone statische file terugsturen, en een lijntje loggen, dan zal dit lukken. Moet ie echter altijd een DB-query doen, of een stuk php parsen, dan zal het afhangen van de code en de machine als dat haalbaar is.

De prijs zal afhankelijk zijn van de noden nav wat elke hit moet doen. 30 euro per maand lijkt me een optimistische schatting, ik zou het iets hoger budgeteren.

[Concepts]

@Wonko en @Kilobit:

Bedankt voor uw reactie. hier kan ik inderdaad wat mee!

Voor concept-1: Achter de request dient er wel een SQL statement uitgevoerd te worden via PHP. Zowel een read als een update. Deze SQL statements zijn vrij straight-forward (geen joins, en allen op key) en hebben - vermoed ik - weinig impact op CPU/Memory.

De prijs van 30EUR/Maand is wellicht mogelijk. Ik heb zo'n aanbieding kunnen vinden bij LeaseWeb. Een dedicated server voor 30 EUR per maand (inclusief BTW en DirectAdmin licentie) indien er 1 jaar vooruitbetaald wordt. Specs zijn:

AMD Sempron 3100+
512 Mb geheugen
160GB SATA II Harde schijf
Linux Debian OS
1 x 100Mbps Full-Duplex Uplink
2000GB data traffic Volume

Kijkend naar het antwoord van Kilobit moet dit afdoende zijn.

Verbaast mij wel ten zeerste(!!) dat 'concurrenten' van LeaseWeb bijna 2x zoveel vragen voor een dedicated oplossing van dezelfde of mindere specs. Vraag mij af als LeaseWeb een goede reputatie heeft hoe concurrenten nog aan hun klanten komen met deze prijzen van LeaseWeb. Na een zondag surfen kan ik echt geen betere deal vinden. Gemiddeld ligt de dediated server oplossing van WebLease (op jaarbasis) namelijk zo'n 40% onder de gemiddelde marktprijs. Hosting is niet mijn markt, maar deze prijsverschillen begrijp ik als 'consument' echt niet.

Ik mag toch wel aannemen dat LeaseWeb een hoge uptime biedt? Server onderhoud doen we zelf, zolang de lijnen maar werken en er gebruikt kan worden gemaakt van DNS en Mailserver (MX prio-2). Dit is bij Leaseweb toch het geval?

Groeten.

[wonko]

Zoek maar even op dit forum naar ervaringen met leaseweb...

[Dillard]

Maak niet de fout alleen maar naar prijs te kijken. Immers, de goedkoopste gezinsauto op de markt is (uit mijn hoofd) een Dacia Logan. Hij heeft een dak, een stuur en vier wielen. Kortom, je kunt er prima mee rijden. Maar toch zie ik ze niet zoveel rondrijden, waarom zou iemand 2x zoveel geld uitgeven aan een Opel Astra? Terwijl ik die toch genoeg zie rondrijden.......

Daarnaast: de specs van deze server zijn niet voldoende voor jouw ideeen.

Over Leaseweb: Leaseweb is een prima partij, maar gericht op volume. Verwacht hier dus geen persoonlijke aanpak, hulp als je er even niet uitkomt, gratis fallback DNS etc, daar zijn ze niet op ingesteld. Ze doen wat ze zeggen, namelijk veel servers tegen lage kosten beschikbaar stellen, maar voor alle extra'tjes zul je moeten betalen (bv. extra IP-adres etc). Daar zijn hun prijzen dan ook naar.

[vipeax]

Verbaast mij wel ten zeerste(!!) dat 'concurrenten' van LeaseWeb bijna 2x zoveel vragen voor een dedicated oplossing van dezelfde of mindere specs. Vraag mij af als LeaseWeb een goede reputatie heeft hoe concurrenten nog aan hun klanten komen met deze prijzen van LeaseWeb. Na een zondag surfen kan ik echt geen betere deal vinden. Gemiddeld ligt de dediated server oplossing van WebLease (op jaarbasis) namelijk zo'n 40% onder de gemiddelde marktprijs. Hosting is niet mijn markt, maar deze prijsverschillen begrijp ik als 'consument' echt niet.

Ik mag toch wel aannemen dat LeaseWeb een hoge uptime biedt? Server onderhoud doen we zelf, zolang de lijnen maar werken en er gebruikt kan worden gemaakt van DNS en Mailserver (MX prio-2). Dit is bij Leaseweb toch het geval?

Groeten.

Het netwerk is er goed
Support met een goede/dure SLA is er "ok"
Support zonder SLA is nouja, goedkoop = duurkoop

Je zou kunnen zeggen dat zolang de server online is/blijft, het allemaal zeer aardig is (vooral gezien de prijs). Mocht je server om wat voor reden offline gaan en niet meer online komen, gaat het snel berg afwaarts.

Zoals Dillard ook al aangaf:
Je betaald veel voor de extras. Als je server 's nachts offline gaat, vroegen ze "vroeger" (eind 2007, begin 2008) iets van 100 euro om er naar te kijken, ik weet niet hoe dit nu zit (ze zouden hun support verbeteren).

[systemdeveloper]

10 Miljoen hits met php/mysql/apache, 10 milj. updates en evenveel queries per dag... op een 30 euro servertje. Vergeet niet de support e-mails in het subforum 'Grappige e-mails/momenten' te dumpen straks

[t.bloo]

Is het van belang dat het blijft werken? Ook in het weekend, ook 's nachts? Verlies je geld en/of klanten als het een paar uurtjes uitvalt? Kan het gebruik in korte tijd snel stijgen?

Als je op een van deze vragen ja antwoord, zorg dan voor redundantie. Het liefst over meerdere datacentra en netwerken heen. 30 euro lijkt me zeker factortje 10 te weinig.

[Concepts]

@Systemdeveloper:

In dat geval - en om dat subforum die grappige emails te besparen - zou ik graag vernemen aan welke serverconfiguratue u dan wel denkt op basis van de ervaringen die u wellicht heeft.

[wonko]

aangezien de vragen hier gesteld worden, zou ik vooral investeren in kennis. Huur iemand in die de server beheert die weet wat ie doet. Betaal die mens per maand, en zorg dat het duidelijk is dat het zijn taak is om de boel performant en online te houden... ("managed server" heet dat).

[Concepts]

@t-bloo: Ja, het is van belang dat het ten alle tijde werkt.

Maar voor 30 EUR kan ik er een zelfde (schaduw) server naast zetten en deze elk uur via een http-call XML laten parsen waarin zich de laatste database wijzigingen zich bevinden.

Mocht de hoofdserver uitvallen, dan dien ik enkel het interne DNS te laten verwijzen naar de schaduw server en kan de boel blijven doordraaien met ten hoogste 1 uur aan dataverlies. (acceptabel gezien het concepts).

Ben ik voor 60 EUR klaar, voor 2 servers en een complete uitvalbackup. En, nog steeds goedkoper dan elders voor 1 server.

Blijft de vraag, of deze server specs afdoende zijn....

[wonko]

Blijft de vraag, of deze server specs afdoende zijn....

Dat zal je enkel weten als je je code geschreven hebt, en die even gebenchmarked hebt. Ik raad je wel aan af te stappen van apache, en er iets lichts als bvb lighttpd onder te schuiven. Zorg dat je DB-server goed ingesteld is (met de updates best bvb iets qua table engine die row-level-locks doet).

[t.bloo]

Mocht de hoofdserver uitvallen, dan dien ik enkel het interne DNS te laten verwijzen naar de schaduw server en kan de boel blijven doordraaien met ten hoogste 1 uur aan dataverlies.

Interne DNS? Als er iets langzaam is met updaten dan is dat een DNS entry wel. Die dingen worden namelijk gecached door je gebruikers.

Daarnaast zul je iets moeten verzinnen voor netwerkproblemen. Op dit moment kan ik via ADSL bijvoorbeeld Leaseweb niet bereiken. Via 3G weer wel. Maar dat soort dingen gebeuren en daar kun je omheen werken met voldoende redundantie. Twee bakjes bij Leaseweb gaat dit echt niet trekken.

[t.bloo]

Edit: je bedoelt natuurlijk dat je de provider het netwerk intern op de routers aan laat passen. Maar dan ga je er van uit dat de provider daar a) nog de mogelijkheid voor heeft en b) daar zin in heeft. De mogelijkheid is er niet als er power failure is, de zin is er niet als je zo weinig betaalt.