Daniel Tryba wrote:
> John Bokma <postmaster@castleamber.com> wrote:
>
>>>>"1. Reasons your site may not be included.
>>>>
>>>> * Your pages are dynamically generated. We are able to index
>>>>dynamically generated pages. However, because our web crawler can easily
>>>>overwhelm and crash sites serving dynamic content, we limit the amount
>>>>of dynamic pages we index.
>>>>"
>>>>
>>>>Maar ik vrees dat je het nog steeds niet begrijpt.
>>>
>>>Ik wacht nog steeds op het antwoord hoe google dynamische paginas
>>>herkent. Aan de vorm van de url is het niet te zien.
>>
>>Google neemt (o.a) aan dat een pagina dynamisch is, als de URL een
>>bepaalde vorm heeft.
>
> Aha, bovenstaande tekst van google is dus gewoon foutief opgestelt:
> s/Your pages are dynamically/We assume your pages are dynamically/
Tja, mail ze ff. Zoals al een paar keer geschreven, je kan elke
dynamische pagina zo vermommen dat het niet meer te zien is dat die
dynamisch gemaakt is. Google moet dus op een of andere manier iets
hanteren waardoor een site *wel* geindexeerd kan worden, *maar* zonder
de boel te crashen.
>>/fotos/
>>/fotos/1999/
>>/fotos/1999/vakanties
>>
>>allemaal een index pagina geven met een overzicht is groot als de
>>webbouwer verstand van zaken heeft. En in de praktijk werkt dit
>>inderdaad erg vaak, tenminste ik hack nogal eens URLs :-D.
>
> Mijn ervaring is dat je in heel veel gevallen een mooie melding krijgt
> dat je daar niet mag komen.
niet alle webbouwers hebben verstand van zaken :-D.
>>>>Uiteraard kent elke website bezoeker ook alle belangrijke IP nrs uit
>>>>zijn of haar hoofd.
>>>
>>>Voor websites is dat nauwelijks interessant, virtualhosts zijn namelijk
>>>afhankelijk van een naam.
>>
>>Dat hangt helemaal af van de gebruikte techniek. Bij meer dan 1 website
>>op 1 machine spreekt men van virtual hosting. En je kan meer dan 1 IP
>>nr, dus 1 per virtual host, op 1 machine gebruiken. Meestal moet je daar
>>extra voor betalen, overigens.
>
>
> Rare definitie van virtualhost...
Ja, sorry, dat is een optie van o.a. Apache. Mail ze ff.
> Voorbeeld: mijn firewall heeft 4
> IPv4 nummers, elke netwerkkaart 1, er dus helemaal niets virtueels aan
> meerdere ips op die machine. Wat jij beschrijft ken ik onder de naam "ip
> aliasing" en komt erop neer dat je een netwerkkaart meerdere ipnummers
> geeft, zo heeft de netwerkkaart die de chello uplink regelt 4 publieke IPv6
> nummers waarvan 3 in het zelfde netwerksegment.
Yup, klopt. En met Apache kan je dat onder <VirtualHost> opgeven.
http://httpd.apache.org/docs/vhosts/ip-based.html
" As the term IP-based indicates, the server must have a different IP
address for each IP-based virtual host. This can be achieved by the
machine having several physical network connections, or by use of
virtual interfaces which are supported by most modern operating systems"
Onderaan de pagina staat een voorbeeld.
>>>Dan vraag ik me toch af waarom het subject al sinds het being
>>>"zoekmachines" is... Ik zou wat later opstaan John, het nog veel te
>>>vroeg voor je, _jij_ bent de persoon die begon over de wat gebruikers
>>>zinniger vinden als url.
>>
>>Nee, ik begon over wat zoekmachines als Google zinnig vinden als URL, en
>>dat je een URL *en* Google vriendelijk kan maken (lees: vaker
>>indexeren), *en* ook nog eens vriendelijk voor de bezoeker kan maken.
>
>
> <q src='408ead09$0$196$58c7af7e@news.kabelfoon.nl'>
>
>>Simpel, zet op een voor zoekmachines bereikbare plek URLs neer...
>>Een zoekmachine boeit het niet hoe paginas worden gegenereerd, als een
>>url maar iets zinnigs oplevert.
>
>
> Dat boeit dus wel.
> [http://www.google.com/webmasters/2.html#A1]
> http://johnbokma.com/mexit/2004/04/12/rewritingurlsforgoogle.html
> </q>
>
> MAW je herhaalde mijn opmerking nog maar eens dat URL iets zinnigs moet
> opleveren.
Nee, het boeit de zoekmachine wel hoe de pagina gegenereerd wordt, nl,
of het id=1999&k=7 is of /fotos/vakanties/7.html. In beide gevallen is
de URL zinnig, echter pagina's gegenereerd op de 2e manier worden
sneller geindexeerd.
>>>>En van wie is het dus een keuze? Juist! Van de WEBSITE eigenaar. Snap je
>>>>het nu?
>>>
>>>Nee. Als je wilt dat je inhoud gevonden wordt door de monopolist google
>>>heb je geen keuze.
>>
>>Jawel, alleen het indexeren gaat langzamer. De website eigenaar kan zelf
>>het beste beoordelen of Google als een gek een dynamisch deel mag
>>indexeren, of dat dit liever rustig gebeurd.
>
>
> Als googlebot als een gek paginas opvraagt dan dienen de programmeurs
> daarvan naar een heropvoedingscursus te worden gestuurd. Ze zijn nu
> immers aan symptoombestrijding bezig ipv van de oorzaak aan te pakken.
Voor statische pagina's maakt het niet uit (en anders vermom je ze als
dynamisch). Voor dynamische pagina's die middels een complexe berekening
worden aangemaakt natuurlijk wel. Als het aanmaken van 1 pagina 30
seconden duurt, is een request van googlebot elke seconde misschien niet
handig. En bezitters van een statische site willen per keer zo veel
mogelijk pagina's in google hebben, kan niet snel en vaak genoeg gaan.
>>>>"However, because our web crawler can easily overwhelm and crash sites
>>>>serving dynamic content, we limit the amount of dynamic pages we index."
>>>
>>> ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
>>>
>>>Limiet op aantal, niet op snelheid.
>>
>>Fout! Er staat duidelijk *our web crawler can easily overwhelm and crash
>>sites*. Hoe kan dat? Door het in hoog tempo ophalen van een flink aantal
>>pagina's *per bezoek*. En daarom: "we limit the amount of dynamic pages
>>we index" PER BEZOEK.
>
> het is leuk dat je het woord "per bezoek" erzelf bij verzint.
*zucht* schets ff een scenario waarbij een crawler een site kan doen
crashen door niet in een bezoek (ik definieer een bezoek als een of meer
crawlers halen n pagina's op en verdwijnen dan weer voor een zekere
tijd, als je dit nog niet snapt plak ik wel ff een stukje access_log)
Het KAN niet anders gelezen worden dan per bezoek.
>>Of het werkelijk dynamisch is, is inderdaad niet aan de vorm te zien.
>>Sterker, als het dynamisch is, zijn er massa's truuks om het altijd
>>statisch te presenteren, en omgekeerd. Dus hanteerd Google een ander
>>criteria.
>
> Maar in deze hele thread is dat criteria dan nog niet aan bod
> gekomen... Ik moet mijn vraag dus maar weer herhalen: Hoe herkent google
> dynamische paginas, aan de url is het immers niet te zien.
als er id= in de URL staat, vind Google het dynamisch. Er is nl geen
enkel andere methode om eenduidig onderscheid te maken tussen statisch
en dynamisch. Je kan elke statische pagina als dynamisch vermommen en
vice versa.
>>>En het wordt al helemaal ingewikkeld als je over een tijdje al je urls
>>>op een andere manier moet rewriten of je output moet gaan veranderen om
>>>in de volgende meest gebruikte se te komen.
>>
>>Ja, en stel je voor dat die zoekmachine alle URLs met id= er in gaat
>>uitsluiten. Ben je ook mooi zuur.
>
> Dan heeft die searchengine verdomt weinig content, het aantal zinnig
> zoekresultaten zal dan ook achterblijven met concurenten.
Je geeft zelf het antwoord al op je vraag.
--
John MexIT: http://johnbokma.com/mexit/
personal page: http://johnbokma.com/
Experienced Perl programmer available: http://castleamber.com/