El Blog para Webmasters de Google [ES] : Verificación de Googlebot

El Blog para Webmasters

Noticias en castellano sobre el rastreo e indexación de sitios web en el buscador Google

Verificación de Googlebot

martes, 9 de junio de 2009

Se ha pedido a los motores de búsqueda que diferencien de alguna manera los robots auténticos de los que no lo son. En el fondo, cualquier spammer podría llamar a su robot "Googlebot" y hacerse pasar por Google, así que ¿cuáles son los robots en los que debemos confiar y cuáles se deben bloquear?
Una petición común es que publiquemos una lista de direcciones IP de Googlebot. El problema con esto es que si cambian los rangos de IP de nuestros rastreadores, no todo el mundo los actualizará. De hecho, el equipo de rastreo migró las direcciones IP de Googlebot hace un par de años y fue bastante problemático avisar a los webmasters que habían fijado un rango de IP. Así que el equipo de rastreo ha proporcionado otra manera de verificar Googlebot. Aquí tienes una respuesta del equipo de rastreo (que citamos con su permiso):
Decir a los webmasters que utilicen DNS para verificar, según cada caso, parece la mejor manera de proceder. Se recomienda hacer una consulta de DNS inversa, comprobar que el nombre está en el dominio googlebot.com y, luego, hacer la correspondiente consulta DNS-> IP utilizando el nombre googlebot.com, por ejemplo:

> host 66.249.66.1

1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com

crawl-66-249-66-1.googlebot.com has address 66.249.66.1

No creo que sea suficiente hacer una consulta de DNS inversa sólamente, porque cualquier imitador podría crear un DNS inverso que apunte a crawl-a-b-c-d.googlebot.com.
Esta respuesta también se ha pasado a nuestro servicio de ayuda, así que la consideramos una forma oficial de verificar Googlebot. Para obtener el rango de IP "oficial" de Googlebot, el robot debe respetar robots.txt así como nuestras convenciones internas de carga de hosts, para que Google no rastree demasiado.
Agradecemos a N. y J. su ayuda con esta respuesta desde el punto de vista del rastreo.
Traducido por Cristina, equipo de Calidad de búsqueda

Etiquetas: rastreo e indexación

Etiquetas

Archivo del blog

2020
- nov
- sept
- ago
- jul
- jun
- may
- abr
- mar
- feb
- ene

2019
- dic
- nov
- oct
- sept
- jun
- abr
- mar
- feb
- ene

2018
- dic
- nov
- oct
- jul
- jun
- may
- abr
- feb
- ene

2017
- dic
- nov
- sept
- ago
- jul
- jun
- abr
- mar
- ene

2016
- nov
- sept
- ago
- may
- abr
- mar
- ene

2015
- dic
- nov
- oct
- sept
- ago
- jul
- may
- abr
- mar
- ene

2014
- nov
- oct
- sept
- ago
- jun
- may
- abr
- mar
- feb
- ene

2013
- oct
- sept
- ago
- jul
- jun
- may
- abr
- mar
- feb
- ene

2012
- dic
- nov
- oct
- sept
- ago
- jul
- jun
- may
- abr
- mar
- feb
- ene

2011
- dic
- nov
- oct
- sept
- ago
- jul
- jun
- may
- abr
- mar
- feb
- ene

2010
- dic
- nov
- oct
- sept
- ago
- jul
- jun
- may
- abr
- mar
- feb
- ene

2009
- dic
- nov
- oct
- sept
- ago
- jul
- jun
- may
- abr
- mar
- feb
- ene

2008
- dic
- nov
- oct
- sept

Feed

Recursos para webmasters

Foro para Webmasters
Centro de Asistencia
Google Search Console
Google Webmaster en castellano

Google
Privacy
Terms