Cómo generar un robots TXT en WordPress

Dentro del SEO existen muchas herramientas para poder optimizar una página web y ayudar a que los motores de búsqueda como Google, la indexen más rápido y en una mejor posición en su ranking. Por ejemplo, alguna página de un sitio web no es necesario que Google la añada a su índice, por lo que incluyéndola en el archivo robot.txt no será rastreada. También es interesante poder bloquear el acceso al sitio web a determinados bots o rastreadores, algo que se puede realizar desde el propio robots.

Utilizar este archivo en un sitio web es un proceso muy sencillo gracias a que es posible generar robots TXT en WordPress.

Qué es un robot TXT en WordPress

El robot TXT es un archivo en formato texto que indica que partes de un sitio web son bloqueadas o se le permite revisar por parte de los bots de los motores de búsqueda. Este archivo robot.txt es consultado por las arañas de Google y otros buscadores para saber qué URL de un sitio web indexar y cuáles no.

Qué es una araña o bot

Cuando se hace referencia a una araña o bot de Google, se está hablando de un programa que rastrea la red, analizando páginas para clasificarlas y añadirlas al índice del buscador, y que de esta manera, los usuarios puedan encontrarlas en sus búsquedas.

Para qué sirve y dónde se ubica

El principal objetivo de añadir un archivo robots TXT a un sitio web es el de indicar a los motores de búsqueda de una serie de páginas que no debe indexar. 

Los buscadores suelen hacer caso a las indicaciones proporcionadas dentro de los robots.txt, aunque también es recomendado utilizar etiquetas “index” y “no index” para especificar qué páginas se deben enlazar y cuáles no, ya que el archivo robots no es eficiente 100% (su contenido son indicaciones no reglas de obligado cumplimiento). Si algún usuario enlaza de forma externa a alguna URL restringida en robots.txt, Google puede terminar indexándola también.

Los principales usos de los robots TXT son:

• -Bloquear el acceso a los rastreadores de los motores de búsqueda de ciertas partes y páginas de un sitio web, como por ejemplo la zona WP-ADMIN.
• -Indicar a los rastreadores la ubicación del archivo sitemaps.xml para poder indexar las URLs del sitio de forma mucho más rápida.
• -Bloquear el acceso al sitio a determinados bots con finalidades que no son interesantes para el sitio.

Dónde se sitúa el archivo robots.txt

Este archivo debe ubicarse en la raíz del sitio web para que los rastreadores puedan acceder a él. De esta manera es sencillo ver su contenido, ya que solo basta con introducir la URL del sitio seguido de robots.txt.

Por ejemplo, para ver los robots TXT del sitio web https://www.hostingplus.cl/ habría que escribir en la barra de cualquier navegador web:

https://www.hostingplus.cl/robots.txt

Cómo crear un archivo robots TXT para WordPress

El archivo robots.txt puede crearse de forma manual configurando un archivo de texto con los principales parámetros como user-agent (a qué user-agent afectarán las reglas allow y disallow), disallow (sitios a bloquear, completos o URL específicas), allow (para hacer ciertas exclusiones de las URL bloqueadas con allow), sitemap (indicar la URL del sitemap) o crawl-delay (forzar pausas a los bots entre cada página visitada). 

Crear un archivo robots TXT para WordPress es un proceso sencillo gracias al uso de plugins WordPress robots TXT generator, como el Yoast SEO. Después de instalar el plugin es necesario activar las páginas de configuración avanzada de la herramienta para poder crear el robots.txt (poner en enabled la opción Páginas de configuración avanzada dentro de las características de Yoast SEO).

En la opción SEO/Herramientas se debe acceder a Editor de Archivo y así se podrá crear o editar el archivo robots.txt del sitio web. Una vez editado solo será necesario grabar los cambios y automáticamente el archivo robots TXT se actualizará en el servidor web.

A pesar de que Yoast SEO es una herramienta que permite crear o modificar muy fácilmente este archivo, hay otros plugins para aquellos que prefieran no instalar un complemento tan amplio y complejo como el Yoast. 

Robots TXT ejemplo

Veamos el archivo robots.txt por defecto que crea WordPress:

User-agent: *

Disallow: /wp-admin/

En la primera línea se indica que las instrucciones de este archivo se aplican a todos los motores de búsqueda (indicado por el asterisco). La segunda línea bloquea el acceso al contenido de la carpeta wp-admin.

A este archivo se le pueden ir añadiendo líneas con reglas que se adapten a las necesidades del sitio web. Por ejemplo, es habitual bloquear el acceso a la página de acceso del Panel de Administrador de WordPress por seguridad. Para ello se añade al archivo robots.txt la línea: Disallow: /wp-login.

El archivo robots TXT es una herramienta muy útil para indicar a los motores de búsquedas información de utilidad, como qué páginas no tiene que indexar de un sitio web o en qué ubicación se encuentra el archivo sitemap con la lista de URL del mismo.