Googlebot

Googlebot

El robot de Google es el robot de rastreo web de Google (en ocasiones, también denominado "araña"). El rastreo es el proceso mediante el cual el robot de Google descubre páginas nuevas y actualizadas y las añade al índice de Google.

Utilizamos una enorme cantidad de equipos informáticos para obtener (o "rastrear") miles de millones de páginas de la Web. El robot de Google utiliza un proceso de rastreo algorítmico: a través de programas informáticos se determinan los sitios que hay que rastrear, la frecuencia y el número de páginas que hay que explorar en cada uno de ellos.

El proceso de rastreo del robot de Google comienza con una lista de URL de páginas web generada a partir de procesos anteriores de rastreo y se amplía con los datos de los sitemaps que ofrecen los webmasters. A medida que el robot de Google visita cada uno de esos sitios web, detecta enlaces (SRC y HREF) en sus páginas y los añade a la lista de páginas que debe rastrear. Los sitios nuevos, los cambios en los existentes y los enlaces obsoletos se detectan y se utilizan para actualizar el índice de Google.