Uno de los elementos más repetidos en el mundo del posicionamiento web es el robots.txt
Pero, ¿Sabes exactamente qué es? ¿Los motivos por los que debes crearlo? ¿Cómo crearlo?
En el artículo de esta semana quiero compartirte todo lo que necesitas conocer sobre este archivo tan crucial a la hora de posicionar tu proyecto online.
Qué es el Robots.txt
El archivo robots.txt lo podemos definir como la invitación a los motores de búsqueda a tu web. Es un archivo en el que vas a decirle a Google, Bing,… qué urls de tu sitio pueden acceder. Una de sus múltiples funciones, radica en evitar que las solicitudes que recibe tu sitio web puedean sobrecargar tu sitio.
Por defecto, todas las webs que se crean dan permiso a los buscadores a entrar en su web, a todas las urls que tengas.
De hecho, si utilizas WordPress habrás podido ver que existe una opción para evitar que, cuando estés construyendo tu web, los motores de búsqueda no puedan entrar. De esta manera te evitas que empiecen a posicionar la web antes de que esté 100% terminada. Te dejo a continuación una imagen para que puedas ver donde se encuentra esta opción:
- Dentro del menú izquierdo selecciona “Ajustes”
- Una vez dentro, “Lectura”
- En la parte inferior encontrarás la siguiente opción:
Diferencias del archivo Robots.txt y del Sitemap
Es muy importante que no confundas estos dos elementos. El sitemap no ayuda al posicionamiento de manera directa. La función que tiene el sitemap es ayudar a los distintos bots, a descubrir tu contenido. El archivo robots.txt si que influye directamente en el posicionamiento de tu web puesto que estás indicando unas reglas a los distintos bots, que tienen que realizar una vez encuentren tu web.
Por supuesto, uno no excluye al otro, ambos son igual de importantes y tienes que trabajarlos.
Paso a paso para crear un archivo Robots.txt en WordPress
Una vez que tenemos claro qué es el archivo robots.txt toca ponerse a crearlo. Si tienes un sitio web creado con WordPress, la opción más sencilla es utilizar algún plugin, como por ejemplo Yoast SEO.
Con el plugin Yoast SEO es muy sencillo, simplemente tendrás que instalarlo, activarlo, y posteriormente ir a la pestaña “SEO” > “Herramientas” y selecciones el “Editor de Archivos”
Una vez cliques verás la opción de “crear archivo robots.txt”, y una vez dentro ya podrás ir incorporando todos los comandos que sean necesarios.
Principales reglas del archivo robots.txt
Es muy importante que tengas en cuenta que este archivo debe llamarse robots.txt y que sólo debe haber un robots.txt por sitio.
Es decir que si tu web es www.pepitoperez.com el robots.txt se ubicará en la siguiente url: www.pepitoperez.com/robots.txt
Entre las reglas que tienes disponible para añadir a tu archivo, los más utilizados son los siguientes:
Aunque existen muchos otros también muy útiles que te detallo a continuación,
Crawl-delay:
Este comando es muy útil, para evitar que los propios motores de búsqueda sobrecarguen el servidor. Los administradores serán capaces de especificar el tiempo, en milisegundos, tiene que esperar el bot entre cada solicitud.
IMPORTANTE: Google no reconoce este comando
Bloquear un archivo
Si lo que queremos es bloquear un archivo concreto, la sintaxis que deberíamos utilizar debería ser la siguiente:
Disallow: /blog/seo/que-es-seo
Es decir primero incorporaríamos el comando “Disallow” para después incluir la parte de la URL que no queremos que aparezca en las SERPs
Bloquear directorios
Otra opción es bloquear un directorio, y de esta manera evitar tener que ir URL por URL. Para realizarlo, seguiríamos el siguiente comando:
Disallow: /__seo/
Lo que le estamos diciendo a los motores de búsqueda es que todas las páginas incluidas en el directorio __seo no deben ser rastreadas.
Bloquear el acceso a toda la web
Si lo que queremos es bloquear el acceso a cualquier bot dentro de nuestra web (al completo) deberíamos incluir lo siguiente:
Disallow:/
El símbolo “/” representa la raíz de nuestro sitio, es decir, la página de la que parten todas las demás páginas, por lo que incluiría la página de inicio y todas aquellas que estén enlazadas.
Con este comando lo que estás indicándole a los motores de búsqueda es que no pueden acceder a tu sitio web.
Principales limitaciones del robots.txt
Existen algunas limitaciones que tienes que tener en cuenta a la hora de hablar del archivo robots.txt
Para empezar es importante que tengas en cuenta que no todos los buscadores van a acatar al 100% lo que le indicas.
Por otro lado, es importante que tengas en cuenta que cada rastreador puede interpretar de una forma la sintaxis. Aunque esto no es lo normal, es conveniente que lo tengas en cuenta para evitar cualquier sorpresa.
Para estos casos se recomienda que para aquellos archivos que tengas que sean muy sensibles o personales, les incluyas una clave de acceso para poder entrar en ellos.
Por último, también muy importante, es que si otras webs apuntan a una url que tu no quieres que los buscadores indexen, es posible que la terminen indexando. De nuevo el incorporar una contraseña, es una manera de reducir la probabilidad de ello.
Conclusión
Como has podido comprobar el archivo Robots.txt es uno de los puntos fundamentales a la hora de crear tu web, para asegurar que le estás mandando, a los motores debúsqueda, las correctas directrices.
Cómo siempre, si te has quedado con alguna duda, estoy a tu entera disposición.
¡Nos leemos la semana que viene! Y entre tanto y cómo siempre a darle fayer al marketing digital
Referencias
