Heb de site voorzien van een robots.txt file, en nu maar afwachten..
Afdrukvoorbeeld
Heb de site voorzien van een robots.txt file, en nu maar afwachten..
Keep us posted, nu ben ik wel benieuwd of dit gaat helpen :)
Of robots.txt aangeroepen werd kun je in je errorlofs zien. Daarnaast nog even wat links op enkel prominente sites regelen. Aanmelden bij een regionale xyz.paghina.nl geen optie?
Nog een tip. Google (en andere grote zoekmachines) maakt ook gebruik van index sites waarvan http://www.dmoz.org/ een belangrijke, zo niet de belangrijkste is. Daar dus ook je site aanmelden.
Dmoz.org is niet eens noodzakelijk. Vermeld de url eens op WHT en wat andere fora en de bots komen vanzelf. Bij mij waren ze binnen een week op mijn site gekomen en tegenwoordig zien ze mijn hele site haast dagelijks. Dat is de reden dat ik de structuur niet al te veel wijzig en het oude bruikbaar laat.