El Blog para Webmasters de Google [ES] : Verificación de Googlebot

El Blog para Webmasters

Noticias en castellano sobre el rastreo e indexación de sitios web en el buscador Google

Verificación de Googlebot

вторник, 9 июня 2009 г.

Se ha pedido a los motores de búsqueda que diferencien de alguna manera los robots auténticos de los que no lo son. En el fondo, cualquier spammer podría llamar a su robot "Googlebot" y hacerse pasar por Google, así que ¿cuáles son los robots en los que debemos confiar y cuáles se deben bloquear?
Una petición común es que publiquemos una lista de direcciones IP de Googlebot. El problema con esto es que si cambian los rangos de IP de nuestros rastreadores, no todo el mundo los actualizará. De hecho, el equipo de rastreo migró las direcciones IP de Googlebot hace un par de años y fue bastante problemático avisar a los webmasters que habían fijado un rango de IP. Así que el equipo de rastreo ha proporcionado otra manera de verificar Googlebot. Aquí tienes una respuesta del equipo de rastreo (que citamos con su permiso):
Decir a los webmasters que utilicen DNS para verificar, según cada caso, parece la mejor manera de proceder. Se recomienda hacer una consulta de DNS inversa, comprobar que el nombre está en el dominio googlebot.com y, luego, hacer la correspondiente consulta DNS-> IP utilizando el nombre googlebot.com, por ejemplo:

> host 66.249.66.1

1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com

crawl-66-249-66-1.googlebot.com has address 66.249.66.1

No creo que sea suficiente hacer una consulta de DNS inversa sólamente, porque cualquier imitador podría crear un DNS inverso que apunte a crawl-a-b-c-d.googlebot.com.
Esta respuesta también se ha pasado a nuestro servicio de ayuda, así que la consideramos una forma oficial de verificar Googlebot. Para obtener el rango de IP "oficial" de Googlebot, el robot debe respetar robots.txt así como nuestras convenciones internas de carga de hosts, para que Google no rastree demasiado.
Agradecemos a N. y J. su ayuda con esta respuesta desde el punto de vista del rastreo.
Traducido por Cristina, equipo de Calidad de búsqueda

Ярлыки: rastreo e indexación

Ярлыки

Архив блога

2020
- нояб.
- сент.
- авг.
- июл.
- июн.
- мая
- апр.
- мар.
- февр.
- янв.

2019
- дек.
- нояб.
- окт.
- сент.
- июн.
- апр.
- мар.
- февр.
- янв.

2018
- дек.
- нояб.
- окт.
- июл.
- июн.
- мая
- апр.
- февр.
- янв.

2017
- дек.
- нояб.
- сент.
- авг.
- июл.
- июн.
- апр.
- мар.
- янв.

2016
- нояб.
- сент.
- авг.
- мая
- апр.
- мар.
- янв.

2015
- дек.
- нояб.
- окт.
- сент.
- авг.
- июл.
- мая
- апр.
- мар.
- янв.

2014
- нояб.
- окт.
- сент.
- авг.
- июн.
- мая
- апр.
- мар.
- февр.
- янв.

2013
- окт.
- сент.
- авг.
- июл.
- июн.
- мая
- апр.
- мар.
- февр.
- янв.

2012
- дек.
- нояб.
- окт.
- сент.
- авг.
- июл.
- июн.
- мая
- апр.
- мар.
- февр.
- янв.

2011
- дек.
- нояб.
- окт.
- сент.
- авг.
- июл.
- июн.
- мая
- апр.
- мар.
- февр.
- янв.

2010
- дек.
- нояб.
- окт.
- сент.
- авг.
- июл.
- июн.
- мая
- апр.
- мар.
- февр.
- янв.

2009
- дек.
- нояб.
- окт.
- сент.
- авг.
- июл.
- июн.
- мая
- апр.
- мар.
- февр.
- янв.

2008
- дек.
- нояб.
- окт.
- сент.

Feed

Recursos para webmasters

Foro para Webmasters
Centro de Asistencia
Google Search Console
Google Webmaster en castellano

Google
Privacy
Terms