Beste,
Op dit moment zitten we in een verkennende fase voor het opzetten van een nieuwe dienst. Hiervoor zal het noodzakelijk zijn dat we in korte tijd een groot aantal pagina's kunnen scannen (crawlen) op bepaalde unieke kenmerken. Het lijkt enigszins op een zoekmachine maar echter zonder de achterliggende doorzoekbare index. Misschien kunnen jullie ons helpen met enkele vragen:
1. Keuze van netwerk. We zijn op zoek naar een netwerk met in Europa en naar Amerika uitstekende verbindingen. Aangezien het om grote hoeveelheden te scannen webpagina's gaat zijn zaken zoals verbindingstijd erg belangrijk. Op onze lijst staan tot nu toe al Proserve en True. Hebben jullie nog tips?
2. Een uncapped 100 mbit verbinding zal noodzakelijk zijn. Maar haalt zo'n 100 mbit verbinding, in een kwalitatief goed netwerk, ook daadwerkelijk 99,9% een volle 100 mbit (+- 7 MB per sec)? We gaan er vanuit dat we data van verschillende websites / servers te gelijkertijd verwerken (multiple threads / multiple servers & DB server).
3. Hoe kijken hosters aan tegen een server(s) die meerdere dagen achter elkaar op een volle 100 mbit data staat te verwerken? Er zijn genoeg partijen die 100 mbit verbindingen aanbieden maar ik ben bang dat sommige niet happy worden als we gedurende langere tijd hun netwerk continu met 100 mbit belasten.
4. Qua prijs hebben we behoorlijk wat verschillende kunnen vinden. Van net onder de E1000 tot over E2500 per maand. Wat denken jullie dat een reële prijs is voor een kwart rack + 100mbit uncapped. Het gaan ons niet om een aanbieding maar puur om een indicatie voor deze verkennings fase.
5. Zouden er partijen zijn die tijdelijk een standaard 100 mbit verbinding kunnen upgraden naar 1 Gbit voor een aantal dagen?
Bedankt!