Se trata de un archivo de texto que se aloja en la raíz de nuestro sitio web. En este documento marcaremos unas directrices para sugerir a los robots o arañas qué partes de nuestra web no deben rastrear e indexar.
Es un archivo público, y siempre se llama de la misma manera, por lo que podemos acceder a él en cualquier sitio web, simplemente, añadiendo robots.txt detrás de la dirección web:
https://jonrivas.com/robots.txt
Una razón para usar este archivo es evitar que nuestra web se vea desbordada por peticiones de robots y afecte a nuestro tráfico. Hay que tener en cuenta que robots como el de Google reservan un tiempo concreto para rastrear nuestra web. A esto se le llama «presupuesto de rastreo«. Este tiempo lo asigna en base a la importancia de nuestra web, su tamaño, frecuencia de actualización… una vez consumido ese tiempo deja de rastrear nuestra web. Es por eso que no nos conviene que pierda el tiempo con archivos que no nos interesan y los deshabilitarlos por medio del robots.
Muchas veces se usa para evitar que los buscadores indexen alguna de nuestras páginas, por ejemplo la de cookies, aviso legal… Sin embargo no es la opción más correcta. Las páginas que no queramos que sean indexadas deben de llevar la meta etiqueta noindex en su head. Sí que se usa, sin embargo, para que no se indexen imágenes o archivos multimedia.
Dentro del documento podemos declarar reglas generales o reglas para un rastreador concreto. Para ello usaremos la instrucción «User-agent:» seguido del nombre de la araña a la que afectará la regla. En caso de que la instrucción vaya dirigida a todos los robots usaremos el asterisco.
Así, con la siguiente expresión, indicaríamos que queremos que todo nuestro sitio sea rastreable para todos los robots.
User-agent: *
Allow: /
Mientras que esta otra instrucción especificaría que la carpeta «tmp» no sea accesible para el robot de Google:
User-agent: Googlebot
Disallow: /tmp/
La lista de rastreadores es inmensa, si quieres consultar una lista muy completa puedes hacerlo en User-agents.com.
Allow indica al robot qué directorios se pueden rastrear, mientras que Disallow indica los que quedarán restringidos. Las instruciones las va cumpliendo según va leyendo el archivo, por lo que con en el siguiente código leería todo el directorio /constructor/uploads/ y los archivos de JavaScript de la carpeta /constructor/, pero no el resto del contenido:
User-agent: *
Allow: /constructor/uploads/*
Allow: /constructor/*.js
Disallow: /constructor/
La última línea del robots.txt la reservaremos para incluir la dirección de nuestro sitemap. Esto es siempre deseable para ayudar a los rastreadores a priorizar y encontrar las páginas que queremos indexar. Esta url debe aparecer completa, incluyendo el protocolo usado.
Sitemap: https://www.miwebamedida.com/sitemap.xml
Podemos añadir comentarios y notas en el documento sin que afecten a su funcionamiento, para ello usamos la almohadilla y, lo que escribamos a partir de ella, será ignorado a nivel funcional.
Disallow: /comments/ # Comentario en la misma linea que la instrucción
Disallow: /page/
# Comentario en linea independiente
Sitemap: https://www.laminotech.com/sitemap_index.xml
Jugando con los elementos que hemos visto ya podemos crear un documento a la medida de nuestra web. Hay que tener en cuenta que cada sitio es diferente y tiene necesidades y preferencias únicas, por lo que no hay un robots.txt único que podamos ofrecerte. Se trata de hacer un documento a medida eliminando del rastreo las páginas con las que no queremos que las arañas pierdan tiempo, quitándonos a nosotros presupuesto de rastreo.
También ten en cuenta que una mala configuración de este archivo puede hacer que dejemos, sin querer, alguna página sin indexar. Es necesario escribirlo con cuidado o descubrir posibles errores realizando una auditoría web.
En este artículo, aprenderás qué es el Lazy Loading y cómo implementarlo fácilmente en tu… Leer más
En esta guía práctica, te explicamos qué es el presupuesto de rastreo, por qué es… Leer más
¿Alguna vez te has encontrado con un mensaje que te invita a actuar, ya sea… Leer más
Una de las preguntas más comunes entre los desarrolladores web que comienzan a usar JavaScript… Leer más
Descubre qué es y para qué sirve la preimpresión digital para conseguir una buena impresión… Leer más
Ampliamos información para las redes sociales. Descubre cómo gestionar correctamente los consentimientos necesarios en las… Leer más