Tänkte att SEO-Rex nog har lite rätt med att Driverdb behöver sitemaps. Slängde upp sådana i slutet av 2006 men var inte helt nöjd med hur Googlebot började crawla min sajt. Antagligen var jag bara otålig, och otålighet och Googles index går inte riktigt ihop. Med bra assistans av GSiteCrawler 1.23 satte jag i natt igång med att skapa sitemappen. Otålighet är inte bra här heller, Driverdb är nämligen förbluffande stor. Än så länge har 13108 URL:er lagts till i webbplatskartan, och 80321 är i kö. Kön ökar snabbare än färdiga sidor, så jag undrar var det slutar någonstans. Klart är väl att jag i alla fall kommer att vara en bra bit över hur stora filer Google gillar så jag hoppas at GSiteCrawler tänker på det.
För närvarande, utan sitemaps, har Google med 66400 sidor från Driver Database i sitt index. Förhoppningsvis när krutröken lagt sig ska jag komma över 100000. Då alla sidor skapas dynamiskt är det väldigt svårt att veta hur många sidor jag egentligen har, så det ska bli spännande att se när crawlandet är över.
Jag är dock lite rädd att Google kommer att crawla mina nya sidor mindre efter att sitemapen finns på plats. Jag kommer ju nämligen inte orka skapa nya sitemaps varje sekund och Driverdb ökar nog med några hundra sidor om dagen. Som det är nu så indexeras nya sidor som har länkar på förstasidan inom någon timme, vilket ju är trevligt. Får se hur det går med en sitemap där dessa nya sidor inte finns med.
När jag ändå är alldeles SEO:ig av mig så kommer Driver of the Year 2008-röstningen att i teorin funka väldigt bra som link-bate. Alla nominerade förare, som väl blir runt femtio, kommer att meddelas att det är möjligt att rösta på dem och förhoppningen är att ett gäng av dessa kommer att publicera en trevlig “rösta på mig”-länk på sina hemsida eller på något fan-forum.
Och spindeln går vidare: 13876 URL:er, 82258 i kö. Lär ta en stund.
