Uitdaging qua network performance

[Leto]

Beste,

Op dit moment zitten we in een verkennende fase voor het opzetten van een nieuwe dienst. Hiervoor zal het noodzakelijk zijn dat we in korte tijd een groot aantal pagina's kunnen scannen (crawlen) op bepaalde unieke kenmerken. Het lijkt enigszins op een zoekmachine maar echter zonder de achterliggende doorzoekbare index. Misschien kunnen jullie ons helpen met enkele vragen:

1. Keuze van netwerk. We zijn op zoek naar een netwerk met in Europa en naar Amerika uitstekende verbindingen. Aangezien het om grote hoeveelheden te scannen webpagina's gaat zijn zaken zoals verbindingstijd erg belangrijk. Op onze lijst staan tot nu toe al Proserve en True. Hebben jullie nog tips?

2. Een uncapped 100 mbit verbinding zal noodzakelijk zijn. Maar haalt zo'n 100 mbit verbinding, in een kwalitatief goed netwerk, ook daadwerkelijk 99,9% een volle 100 mbit (+- 7 MB per sec)? We gaan er vanuit dat we data van verschillende websites / servers te gelijkertijd verwerken (multiple threads / multiple servers & DB server).

3. Hoe kijken hosters aan tegen een server(s) die meerdere dagen achter elkaar op een volle 100 mbit data staat te verwerken? Er zijn genoeg partijen die 100 mbit verbindingen aanbieden maar ik ben bang dat sommige niet happy worden als we gedurende langere tijd hun netwerk continu met 100 mbit belasten.

4. Qua prijs hebben we behoorlijk wat verschillende kunnen vinden. Van net onder de E1000 tot over E2500 per maand. Wat denken jullie dat een reële prijs is voor een kwart rack + 100mbit uncapped. Het gaan ons niet om een aanbieding maar puur om een indicatie voor deze verkennings fase.

5. Zouden er partijen zijn die tijdelijk een standaard 100 mbit verbinding kunnen upgraden naar 1 Gbit voor een aantal dagen?

Bedankt!

[XF-RICK]

Origineel geplaatst door Leto
Beste,

Op dit moment zitten we in een verkennende fase voor het opzetten van een nieuwe dienst. Hiervoor zal het noodzakelijk zijn dat we in korte tijd een groot aantal pagina's kunnen scannen (crawlen) op bepaalde unieke kenmerken. Het lijkt enigszins op een zoekmachine maar echter zonder de achterliggende doorzoekbare index. Misschien kunnen jullie ons helpen met enkele vragen:

1. Keuze van netwerk. We zijn op zoek naar een netwerk met in Europa en naar Amerika uitstekende verbindingen. Aangezien het om grote hoeveelheden te scannen webpagina's gaat zijn zaken zoals verbindingstijd erg belangrijk. Op onze lijst staan tot nu toe al Proserve en True. Hebben jullie nog tips?

2. Een uncapped 100 mbit verbinding zal noodzakelijk zijn. Maar haalt zo'n 100 mbit verbinding, in een kwalitatief goed netwerk, ook daadwerkelijk 99,9% een volle 100 mbit (+- 7 MB per sec)? We gaan er vanuit dat we data van verschillende websites / servers te gelijkertijd verwerken (multiple threads / multiple servers & DB server).

3. Hoe kijken hosters aan tegen een server(s) die meerdere dagen achter elkaar op een volle 100 mbit data staat te verwerken? Er zijn genoeg partijen die 100 mbit verbindingen aanbieden maar ik ben bang dat sommige niet happy worden als we gedurende langere tijd hun netwerk continu met 100 mbit belasten.

4. Qua prijs hebben we behoorlijk wat verschillende kunnen vinden. Van net onder de E1000 tot over E2500 per maand. Wat denken jullie dat een reële prijs is voor een kwart rack + 100mbit uncapped. Het gaan ons niet om een aanbieding maar puur om een indicatie voor deze verkennings fase.

5. Zouden er partijen zijn die tijdelijk een standaard 100 mbit verbinding kunnen upgraden naar 1 Gbit voor een aantal dagen?

Bedankt!

Meestal krijg je als je bereid bent om een 100 mbit commitment aan te gaan een 1 Gbit (Fiber SX) uplink. Zodat je rustig kan bursten richting de Gbit.

Een belasting van 100 Mbit voor een dergelijke provider (non-zebra) is geen enkel probleem, netwerk zou hier geen hinder van moeten ondervinden.

Bedragen tussen de 1250 en 2000 EURO zijn redelijke voor 100 Mbit commitments.

[Wido]

Denk dat je vooral moet kijken naar de hoeveelheid transits de partij heeft.

[FransVanNispen]

Op een 100Mbit capped lijn moet je normaal zo'n 99,8% effectief kunnen gebruiken. Tenminste wel onze ervaring tot nu toe. Dit houd niet in zo'n 7Mb/s, maar eerder 11 tot 12Mb/s.

Als je 100Mit capped (flatfee) hebt, maakt het niet uit, al laat je hem alle dagen van het jaar volledig draaien. Providers die daarover zuren leveren de data op overselling en komen hierdoor dus zelf in de problemen.

[dlg]

Kijk ook naar kwaliteit van transits. Level(3), UUNet, Telia zijn in de regel beter dan partijen als Cogentco, Interoute en zelfs Abovenet.

Prijzen zijn vaak afhankelijk van de kwaliteit van de transit uplinks, er zijn dure transit uplinks en goedkope transip uplink, dat merk je vaak ook aan de eindprijs die een netwerk provider aanbied.

Als je een goede kwaliteit wilt, lijkt me 2500 euro / 100 mbit CDR 95% en 10U een goede prijs. Met een prijs van 1000 euro zit je vaak met de kwalitatief mindere transit uplinks.

Je zou eventueel ook mee kunnen wegen welke peering punten een partij direct heeft aangesloten en met wie zij peeren, er zijn een aantal partijen bezig met het ontsluiten van meerdere Internationale peering punten, dat kan op termijn voordelig voor jou en hen werken.

Even opmerking naar Rick:

"Een belasting van 100 Mbit voor een dergelijke provider (non-zebra) is geen enkel probleem"

Wij beheren een vijftal Quagga routers voor een provider die inmiddels 2500 mbit verkeer doet, ook quagga kan dit probleemloos routeren en een dergelijke oplossing word vaak onderschat.

Ik durf zelfs te stellen dat een goed beheerde quagga oplossing op goede hardware een aantal hardware routers en zeker een hele groep layer3 switches ingezet als hardware router voorbij streeft qua functionaliteit en kracht.

Om eerlijk te zijn zijn er toch wel een hele hoop netwerkproviders die kunnen meedingen naar een stabiel en betrouwbaar netwerk tegenwoordig, zowel in de budget klasse als in de kwaliteitsklasse en alles ertussen. Voor jou wensen zou geen enkele provider direct buiten de boot vallen, op een aantal single homed provider na.

Eventueel zou je erop aan kunnen dringen een testserver te plaatsen bij een shortlist van providers en te kijken hoe de verbinding bevalt, aanbiedingen kun je opvragen in dit forum haar aanbiedingen forum.

[Leto]

Bedankt voor de feedback zover! We zijn al weer een stuk wijzer.