Det går verkligen långsamt. I natt satte jag igång crawlandet på Driverdb.com för att göra ett par Google Sitemaps. Medan jag sov kraschade givetvis programmet men gick sedan vidare under morgonen. Det körs fortfarande. Det kommer att behöva köras i natt också.
Just-nu-stats:
Number of URLs listed: 66421
Number of URLs still waiting in the crawler: 121357 (may include some already listed)
Det blir en herrans massa sidor som jag hoppas att Google tänker snappa upp. Som sagt tidigare så har de för närvarande 66400. Min förhoppning är att kunna dubbla antalet indexerade sidor.
[...] Relaterad läsning: Crawl är ordet [...]