Wat doen zoekmachines op mijn site?

De Daily Mieuw is nu een paar weken online en de stathoerprogramma’s doen hun werk. Daar zijn inmiddels wat interessante statistieken uit gekomen. Het aantal bezoekers mag op zich natuurlijk met een factor tien omhoog, om te beginnen, maar dat gaat wel lukken, denk ik, de content is gewoon goed, men moet de site alleen nog even weten te vinden. Bezoekersaantallen zijn op zich niet het interessantste van de statistieken. Interessanter vind ik bijvoorbeeld het gedrag van de verschillende zoekmachines.

Dankzij het zoekmachinestathoerprogramma CrawlTrack heb ik daar nu een heel aardig beeld van. De, voor nederlandse sites, interessantste zoekmachine Google komt zeer regelmatig langs. Alle pagina’s staan netjes in Googles index, alles kan dus in principe gevonden worden.
Toen ik een paar weken geleden de structuur van de URLs veranderde begon Google meteen alle oude URLs met de nieuwe te vergelijken. De oude URLs zijn doorgelinkt naar de nieuwe maar ze staan blijkbaar nog in Googles cache. Nu, een paar weken later, zoekt Google nog maar sporadisch naar een oude URL. Zo te zien is alles nu weer goed geïndexeerd.
Yahoo komt wat minder vaak langs en heeft wat meer moeite om de oude URLs uit zijn index te krijgen. Maar wat mij vooral opvalt is dat Yahoo pagina’s probeert te indexeren waar absoluut geen link naar bestaat. Yahoo volgt dus niet alleen links, Yahoo zoekt ook zelf naar verborgen content.
De URL van een categoriepagina op de Daily Mieuw heeft een structuur die er zo uit ziet: /category/naam-van-de-categorie/
Alle zoekmachines bezoeken deze pagina’s. Maar Yahoo probeert ook de URL /category/ te indexeren, op zoek naar open dirretjes, lijkt het wel. Een overijverig, nieuwsgierig botje, dat is Yahoo! Ik moet overigens nog een manier vinden om deze URLs, die gewoon helemaal niet bestaan, een responseheader ‘forbidden’ mee te geven. Nu geven ze een 404, deze pagina bestaat niet, header terug. Wat naturlijk een beetje vreemd is. Misschien kan Joost de Valk hier een WordPress Plugin voor schrijven?
MSN komt bijna niet langs. Hier is dus weinig interessants over te vertellen. Even ter vergelijking: Google is 1210 keer langsgekomen en heeft 155 pagina’s bekeken. Yahoo is 449 keer langsgekomen en heeft 151 pagina’s bekeken. Effectief! MSN is 93 keer langs geweest en heeft maar 47 pagina’s geïndexeerd. Lui!

Er is nog veel meer te vertellen over de statistieken van CrawlTrack. Misschien doe ik dat eens in een volgend postje. Maar nu ga ik eerst even in de stoofschotel roeren.