Cómo optimizar WordPress Robots.txt para SEO

Cómo optimizar su WordPress Robots.txt para SEO

 

Recientemente uno de nuestros lectores nos pidió consejos sobre cómo optimizar el archivo robots.txt para mejorar el SEO. El archivo Robots.txt le dice a los motores de búsqueda cómo rastrear su sitio web, lo que lo convierte en una herramienta SEO increíblemente poderosa. En este artículo, le mostraremos cómo crear un archivo robots.txt perfecto para SEO.

 

¿Qué es el archivo robots.txt?

 

Robots.txt es un archivo de texto que los propietarios de sitios web pueden crear para indicar a los robots de los motores de búsqueda cómo rastrear e indexar páginas en su sitio.

Normalmente se almacena en el directorio raíz, también conocido como la carpeta principal de su sitio web. El formato básico de un archivo robots.txt es el siguiente:

1
2
3
4
5
6
7
8
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]

 

Puede tener varias líneas de instrucciones para permitir o no permitir URLs específicas y añadir varios sitemaps. Si no rechaza una URL, los robots de los motores de búsqueda asumen que pueden rastrearla.

Así es como puede verse un archivo de ejemplo robots.txt:

 

1
2
3
4
5
6
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml

 

En el ejemplo de robots.txt anterior, hemos permitido a los motores de búsqueda rastrear e indexar archivos en nuestra carpeta de cargas de WordPress.

Después de eso, hemos rechazado los robots de búsqueda de rastreo e indexación de plugins y carpetas de administración de WordPress.

Por último, hemos proporcionado la URL de nuestro mapa de sitio XML.

 

¿Necesita un archivo Robots.txt para su sitio WordPress?

 

Si no tiene un archivo robots.txt, los motores de búsqueda seguirán rastreando e indexando su sitio web. Sin embargo, no podrá indicar a los motores de búsqueda qué páginas o carpetas no deben rastrear.

Esto no tendrá un gran impacto cuando usted está empezando un blog y no tiene mucho contenido.

Sin embargo, a medida que su sitio web crece y tiene mucho contenido, es probable que desee tener un mejor control sobre la forma en que se rastrea e indexa su sitio web.

Aquí está el por qué.

Los robots de búsqueda tienen una cuota de rastreo para cada sitio web.

Esto significa que rastrean un cierto número de páginas durante una sesión de rastreo. Si no terminan de rastrear todas las páginas de su sitio, volverán y volverán a rastrear en la siguiente sesión.

Esto puede ralentizar la tasa de indexación de su sitio web.

Puede corregir esto desestimando los robots de búsqueda para que no intenten rastrear páginas innecesarias como las páginas de administración de WordPress, los archivos de plugin y la carpeta de temas.

Al desactivar las páginas innecesarias, se guarda la cuota de rastreo. Esto ayuda a los motores de búsqueda a rastrear aún más páginas en su sitio y a indexarlas lo más rápido posible.

Otra buena razón para usar el archivo robots.txt es cuando desea evitar que los motores de búsqueda indexen un artículo o una página en su sitio web.

No es la forma más segura de ocultar el contenido al público en general, pero le ayudará a evitar que aparezcan en los resultados de búsqueda.

 

¿Cómo debería ser un archivo Robots.txt ideal?

 

Muchos blogs populares utilizan un archivo robots.txt muy simple. Su contenido puede variar, dependiendo de las necesidades del sitio específico:

 

1
2
3
4
5
User-agent: *
Disallow:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

 

Este archivo robots.txt permite a todos los robots indexar todo el contenido y les proporciona un enlace a los sitemaps XML del sitio web.

Para los sitios de WordPress, recomendamos las siguientes reglas en el archivo robots.txt:

 

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

 

 

Esto indica a los robots de búsqueda que indexen todas las imágenes y archivos de WordPress. No permite que los robots de búsqueda indexen los archivos de plugins de WordPress, el área de administración de WordPress, el archivo Léame de WordPress y los enlaces de afiliados.

Al añadir sitemaps al archivo robots.txt, los robots de Google pueden encontrar fácilmente todas las páginas de su sitio.

Ahora que sabe cómo es un archivo robots.txt ideal, echemos un vistazo a cómo puede crear un archivo robots.txt en WordPress.

 

¿Cómo crear un archivo Robots.txt en WordPress?

 

Hay dos maneras de crear un archivo robots.txt en WordPress. Usted puede elegir el método que mejor se adapte a sus necesidades.

Método 1: Editar el archivo Robots.txt usando Yoast SEO

Si está usando el plugin Yoast SEO, entonces viene con un generador de archivos robots.txt.

Puedes usarlo para crear y editar un archivo robots.txt directamente desde tu área de administración de WordPress.

Simplemente vaya a la página de herramientas de SEO » en su administrador de WordPress y haga clic en el enlace Editor de archivos.

 

Cómo optimizar WordPress Robots.txt para SEO backoffice

 

 

En la página siguiente, Yoast SEO página mostrará su archivo robots.txt existente.

Si usted no tiene un archivo robots.txt, entonces Yoast SEO generará un archivo robots.txt para usted.

 

 

Cómo optimizar WordPress Robots.txt para SEO backoffice paso 2

 

 

Por defecto, el generador de archivos robots.txt de Yoast SEO añadirá las siguientes reglas a su archivo robots.txt:

 

1
2
User-agent: *
Disallow: /

 

Es importante que elimine este texto porque bloquea a todos los motores de búsqueda para que no puedan rastrear su sitio web.

Después de eliminar el texto predeterminado, puede seguir adelante y añadir sus propias reglas robots.txt. Recomendamos usar el formato ideal robots.txt que compartimos anteriormente.

Una vez que haya terminado, no olvide hacer clic en el botón «Guardar archivo robots.txt» para guardar los cambios.

Método 2. Editar el archivo Robots.txt manualmente usando FTP

Para este método, necesitará utilizar un cliente FTP para editar el archivo robots.txt.

Simplemente conéctese a su cuenta de alojamiento de WordPress usando un cliente FTP.

Una vez dentro, podrá ver el archivo robots.txt en la carpeta raíz de su sitio web.

 

 

Si no ve ninguno, es probable que no tenga un archivo robots.txt. En ese caso, puedes seguir adelante y crear uno.

 

Robots.txt es un archivo de texto plano, lo que significa que puede descargarlo a su ordenador y editarlo utilizando cualquier editor de texto plano como Notepad o TextEdit.

Después de guardar los cambios, puede volver a cargarlos en la carpeta raíz de su sitio web.

 

Cómo probar su archivo Robots.txt?

 

Una vez que haya creado el archivo robots.txt, siempre es una buena idea probarlo con una herramienta de prueba robots.txt.

Existen muchas herramientas de testeo robots.txt, pero recomendamos usar la que se encuentra dentro de la Consola de Búsqueda de Google.

Sólo tienes que acceder a tu cuenta de la Consola de Búsqueda de Google y, a continuación, cambiar al sitio web de la antigua consola de búsqueda de Google.

 

Esto le llevará a la antigua interfaz de la Consola de Búsqueda de Google. Desde aquí debe iniciar la herramienta de prueba robots.txt ubicada en el menú’Crawl’.

 

 

La herramienta buscará automáticamente el archivo robots.txt de su sitio web y resaltará los errores y advertencias si los encuentra.

 

Reflexiones finales

 

El objetivo de optimizar su archivo robots.txt es evitar que los motores de búsqueda rastreen páginas que no están disponibles públicamente. Por ejemplo, las páginas de la carpeta wp-plugins o las páginas de la carpeta admin de WordPress.

Un mito común entre los expertos en SEO es que el bloqueo de categorías, etiquetas y páginas de archivo de WordPress mejorará la tasa de rastreo y dará como resultado una indexación más rápida y una clasificación más alta.

Esto no es cierto. También va en contra de las directrices para webmasters de Google.

Le recomendamos que siga el formato robots.txt para crear un archivo robots.txt para su sitio web.

 

Esperamos que este artículo te haya ayudado a aprender a optimizar su archivo WordPress robots.txt para SEO. Este tutorial a sido ofrecido por TodoWordpress Tutoriales, el portal con los mejores tutoriales wordpress.

 

 

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *