Onderwerp: zoekmachine spiders (cpu of banbreedte)

Ik vroeg mij eigenlijk af.
Die spiders van zoekmachines, hebben die juist veel servers nodig, of gaat het meer om de bandbreedte?????

Gok dat het voornamelijk gaat om CPU kracht om de gegevens in een database te plempen. Bandbreedte is dus afhankelijk van hoe snel de servers de data kunnen verwerken. Als de servers maar achter de feiten aan blijven hobbelen (m.a.w. ze krijgen het niet lekker verwerkt), dan kan de bandbreedte ingekort worden.

Het is voornamelijk het backend DBMS (dbase) waar de spider resultaten worden verwerkt. De throughput van het DBMS (drive, memory, software) is hier de grootste factor. Kortom dus heel veel geheugen maar vooral een supersnelle drive en regelmatig opschonings onderhoud.