Hace unos días ya lo leí en Dirson, y pensé que solo era a las webs «famosas», es decir, las que llevaban mucho tiempo on-line, y de las cuales ya tenía Google algo en cache. Pero hoy me ha dado por leerme los logs (exceso de aburrimiento) de mi servidor web, y he encontrado esto:

[Tue Jun 15 20:35:11 2004] [error] [client 64.68.84.9] File does not exist: /home/httpd/vhosts/patoroco.net/httpdocs/rss.xml
[Tue Jun 15 20:38:30 2004] [error] [client 64.68.84.9] File does not exist: /home/httpd/vhosts/patoroco.net/httpdocs/feed/rss2/rss.xml
[Tue Jun 15 20:45:32 2004] [error] [client 64.68.84.9] File does not exist: /home/httpd/vhosts/patoroco.net/httpdocs/feed/rss2/rss.xml
[Tue Jun 15 20:50:53 2004] [error] [client 64.68.84.9] File does not exist: /home/httpd/vhosts/patoroco.net/httpdocs/feed/rss2/rss.xml
[Tue Jun 15 20:57:58 2004] [error] [client 64.68.84.9] File does not exist: /home/httpd/vhosts/patoroco.net/httpdocs/rss.xml 

Me lo he imaginado al recordar el comentario en Dirson, pero para asegurarme he hecho un «seguimiento DNS», y he dado con esto: IP 64.68.84.9 ( crawl10.googlebot.com ) , es decir, Google quiere feeds, y los está buscando por toda la red, o como dicen los entendidos, por la «blogsfera», por lo que yo, siguiendo el mini-manual de Martín, he modificado el .htaccess que tenía hasta ahora, para que cuando el señor Google vuelva pidiendo esos archivos, los encuentre sin problemas.
También me he sorprendido el ver esto:

[Tue Jun 15 19:49:10 2004] [error] [client 65.54.164.110] File does not exist: /home/httpd/vhosts/patoroco.net/httpdocs/robots.txt 

Que por lo que he visto al hacer el «seguimiento» de la DNS, viene de msn, ya que da una respuesta IP 65.54.164.110 ( msnbot64110.search.msn.com ). Lo que no se, es para que sirve ese archivo, ni que es lo que busca el msnbot ese, así que si alguien lo sabe, que deje su comentario 🙂