beegame65

Robots.txt es uno de los ficheros más simples de un sitio mas también uno de los más fáciles de arruinar. Sólo un fallo de tipeo puede causar estragos en tu SEO y eludir que los motores de búsqueda accedan al contenido esencial en tu lugar.

Esta es la razón por la que los fallos de configuración de robots.txt son exageradamente comunes, aun entre los profesionales SEO con experiencia.

En esta guía aprenderás:

¿Qué es crear tiendas online madrid ?

Un archivo robots.txt le dice a los motores de búsqueda por dónde pueden y por donde no pueden ir dentro de tu sitio.

En primer lugar, enumera todo el contenido que quieres bloquear de los motores de búsqueda como Google. También le puedes indicar a ciertos motores de búsqueda (no a Google)
cómopueden rastrear el contenido alcanzable.

La mayoría de los motores de búsqueda son obedientes. No tienen el hábito de ignorar una restricción. Dicho esto, ciertos no son tímidos en el momento de obviar dichas restricciones.

Google no es uno de esos motores de búsqueda, obedece las instrucciones de un archivo robots.txt.

Sólo debes saber que algunos motores de búsqueda lo ignoran por completo.

¿Cómo se ve un archivo robots.txt?

Este es el formato básico de un fichero robots.txt:

Si jamás has visto uno de estos archivos ya antes puede parecer deprimente. Sin embargo, la sintaxis es bastante simple. En resumen, tienes que asignar reglas a los robots indicando su
user-agentseguido de las
directivas.

Exploremos estos dos componentes con más detalle.

User-agents

Cada motor de búsqueda se identifica con un usuario-agent diferente. Puedes establecer instrucciones personalizadas para cada uno de ellos de ellos en el archivo robots.txt. Hay, pero aquí existen algunos útiles en relación al SEO:

• 
  Google:Googlebot
• 
  Google Images:Googlebot-Image
• 
  Bing:Bingbot
• 
  Yahoo:Slurp
• 
  Baidu: Baiduspider
• 
  DuckDuckGo:DuckDuckBot

Todos los user-agents distinguen entre mayúsculas y minúsculas en robots.txt.

También puedes usar el asterisco (*) para asignar directivas a todos y cada uno de los usuario-agents.

Por ejemplo, pongamos que deseas bloquear todos los bots excepto Googlebot para que no rastree tu sitio. Así es como lo harías:

Tienes que saber que tu fichero robots.txt puede incluir directivas para tantos usuario-agents como desees. Dicho esto, toda vez que declares un nuevo user-agent, éste ignorará las directivas declaradas previamente para otros user-agents. En otras palabras, si añades directivas para múltiples usuario-agents, las directivas declaradas para el primer usuario-agent no se aplicarán al segundo, o al tercero, o al cuarto, y así sucesivamente.

La excepción a esta regla es cuando se declara exactamente el mismo usuario-agent más de una vez. En ese caso, se combinan y se cumplen todas las directivas pertinentes.

Los rastreadores sólo prosiguen las reglas declaradas bajo el (los) usuario-agent(s) que
se se aplican a ellos de la manera más específica posible. Es por eso que el fichero robots.txt bloquea a todos los bots excepto a Googlebot (y a otros robots de Google) para que no puedan rastrear el sitio, Googlebot ignora la declaración de usuario-agent menos específica.

Directivas

Las directivas son las reglas que deseas que los usuario-agents declarados prosigan.

Directivas admitidas

Aquí están las directivas que Google admite en nuestros días, así como sus usos.

Disallow

Utiliza esta directiva para señalar a los motores de búsqueda que no accedan a archivos y páginas que se encuentren bajo una senda específica. Por servirnos de un ejemplo, si quieres bloquear el acceso de todos los motores de búsqueda a tu weblog y a todos sus mensajes, el archivo robots.txt puede verse así:

Si no defines una senda después de la directiva disallow, los motores de búsqueda la ignorarán.

Allow

Utiliza esta directiva para permitir a los motores de búsqueda rastrear un subdirectorio o una página, incluso en un directorio que de otra forma no estaría tolerado. Por poner un ejemplo, si quieres eludir que los motores de búsqueda accedan a todas las entradas de tu blog salvo a una, el archivo robots.txt puede tener este aspecto:

En este caso de ejemplo, los motores de búsqueda pueden acceder a:
/blog/post-permitido. Mas no pueden acceder a:

/blog/otro-post

/blog/y-otro-post

/blog/descarga.pdf

Tanto Google como Bing aceptan esta directiva.

Al igual que con la directiva disallow, si no defines una senda después de la directiva allow, los motores de búsqueda la ignorarán.

nota sobre reglas conflictivas

A menos que seas cuidadoso, las directivas allow y disallow pueden fácilmente entrar en pugna entre sí. En el siguiente ejemplo no se le permite el acceso a
/blog/y se deja el acceso a
/blog.

En este caso, la URL
/blog/post-title/parece tener ambas directivas. Entonces ¿cuál gana?

Para Google y Bing, la regla es que gana la directiva con más caracteres. Esa es la directiva disallow.

Disallow: /blog/
(seis caracteres)

Allow: /blog
(5 caracteres)

Si las directivas allow y disallow tienen la misma longitud, entonces gana la directiva menos restrictiva. En un caso así, esa sería la directiva allow.

Aquí,
/blog(sin la barra) prosigue siendo accesible y rastreable.

Es esencial mentar que
esto sólo aplica para el caso de Google y Bing. Otros motores de búsqueda obedecen a la primera directiva coincidente. En este caso sería disallow.

Sitemap

Utiliza esta directiva para concretar la ubicación de tu(s) sitemap(s) en los motores de búsqueda. Si no estás familiarizado con los sitemaps, normalmente incluyen las páginas que deseas que los motores de búsqueda rastreen e indexen.

A continuación se muestra un caso de un archivo robots.txt que emplea la directiva sitemap:

¿Qué importancia tiene incluir tu(s) sitemap(s) en tu fichero robots.txt? Si ya lo has mandado a través de Search Console entonces es algo redundante para Google. No obstante, le dicen a otros motores de búsqueda como Bing dónde hallar tu sitemap, con lo que sigue siendo una buena práctica.

Ten en cuenta que no es preciso reiterar la directiva sitemap múltiples veces para cada usuario-agent, éste aplica para todos. Por lo tanto, lo mejor es incluir las directivas del sitemap al principio o al final del archivo robots.txt. Por ejemplo:

Googlela directiva sitemap, así como Ask, Bing, y Yahoo.

Puedes incluir tantos sitemaps como desees en tu archivo robots.txt.

Directivas no admitidas

Estas son las directivas que—algunas de las cuales jamás lo fueron, técnicamente.

Crawl-delay

Anteriormente podías emplear esta directiva para precisar un difiero del rastreo en segundos. Por poner un ejemplo, si quisieses que Googlebot espere 5 segundos después de cada acción de rastreo, debías establecer el retardo de rastreo en 5:

Google ya no acepta esta directiva peroysí.

Dicho esto, ten cuidado al establecer esta directiva, singularmente si tienes un sitio grande. Si estableces un difiero de rastreo de cinco segundos, entonces estarás limitando a los bots a rastrear un máximo de diecisiete y doscientos ochenta URLs al día. Eso no es muy útil si tienes millones de páginas, pero podría ahorrar ancho de banda si tienes un sitio web pequeño.

Noindex

Esta directiva jamás fue apoyada oficialmente por Google. No obstante, hasta hace poco, se creía que Google tenía algún “código que maneja reglas no admitidas y no publicadas (como el noindex)”. Así que si deseas evitar que Google indexe todas y cada una de las entradas de tu blog, puedes usar la próxima directiva:

Sin embargo, el 1 de septiembre de 2019, Google dejó claro que
esta directiva no está admitida. Si quieres excluir una página o bien un archivo de los motores de búsqueda, emplea en su sitio la etiqueta meta robots o el encabezado HTTP x‑robots.

Nofollow

Esta es otra directiva que Google nunca apoyó oficialmente y fue utilizada para señalar a los motores de búsqueda que no prosiguieran links en páginas y ficheros bajo una ruta específica. Por servirnos de un ejemplo, si quieres evitar que Google siga todos los enlaces de tu blog, puedes utilizar la siguiente directiva:

Google anunció que esta directiva no tiene soporte oficial desde el 1 de septiembre de 2019. Si deseas no continuar todos los links de una página ahora, debes emplear la meta tag robots o bien el encabezado x‑robots. Si deseas apuntar a Google que no siga enlaces específicos de una página, utiliza el atributo de enlace rel=“nofollow”.

¿Necesitás un fichero robots.txt?

Tener un archivo robots.txt no es crucial para muchos sitios web, en especial para los más pequeños.

Dicho esto, no hay ninguna buena razón para no tener uno. Te dará más control sobre dónde los motores de búsqueda pueden y no pueden entrar en tu sitio, y esto podría ayudarte con cosas como:

• Prevenir el rastreo de;
• Mantener secciones de un sitio web como privadas (por poner un ejemplo, tu sitio de pruebas);
• Prevenir el rastreo de páginas de resultados de búsqueda interna;
• Prevenir la sobrecarga del servidor;
• Prevenir que Google desperdicie su “.”
• Prevenir que,, y archivos de recursos aparezcan en los resultados de búsqueda de Google.

Ten en cuenta que aunque Google no suele indexar las páginas web que están bloqueadas por robots.txt,
no hay forma de asegurar la exclusión en los resultados de búsqueda mediante el fichero robots.txt.

Como, si el contenido está enlazado desde otros lugares en la web, puede llegar a aparecer en los resultados de búsqueda de Google.

Cómo localizar tu fichero robots.txt

Si ya tienes un fichero robots.txt en tu sitio, podrás acceder a él a través de dominio.com/robots.txt. Navega hasta la URL de tu navegador. Si ves algo como esto, entonces tienes un archivo robots.txt:

Cómo crear un archivo robots.txt

Si aún no tienes un archivo robots.txt, crear uno es fácil. Simplemente abre un documento .txt en blanco y empieza a redactar directivas. Por servirnos de un ejemplo, si deseas impedir que todos los motores de búsqueda rastreen tu directorio
/admin/se debería ver algo así:

Continúa redactando las directivas hasta el momento en que estés satisfecho con lo que tienes. Guarda tu archivo como “robots.txt”.

Alternativamente, también puedes usar un generador robots.txt como.

La ventaja de utilizar una herramienta como esta es que minimiza los fallos de sintaxis. Esto es bueno por el hecho de que un fallo podría resultar en una catástrofe posicionamiento en buscadores para tu lugar, con lo que merece la pena ir por el lado de la precaución.

La desventaja es que son algo limitados en términos de personalización.

Dónde situar tu fichero robots.txt

Ubica el fichero robots.txt en el directorio raíz del subdominio al que se aplique. Por ejemplo, para supervisar el comportamiento de rastreo en un
dominio.com, el archivo robots.txt debe estar alcanzable en
dominio.com/robots.txt.

Si deseas supervisar la rastreabilidad en un subdominio como
blog.dominio.com, el fichero robots.txt debe estar alcanzable en
blog.dominio.com/robots.txt.

Buenas prácticas para el archivo robots.txt

Tenlos en cuenta para eludir errores comunes.

Usa una nueva línea para cada directiva

Cada directiva debería ir en una nueva línea. En caso contrario confundirá a los motores de búsqueda.

Incorrecto:

Correcto:

Utiliza asteriscos para facilitar las instrucciones

No sólo puedes utilizar asteriscos (*) para aplicar directivas a todos los user-agents sino más bien también a fin de que coincidan con los patrones de URL al declarar directivas. Por servirnos de un ejemplo, si quieres evitar que los motores de búsqueda accedan a las URLs de las categorías de productos parametrizadas en tu lugar, puedes enumerarlas de la siguiente manera:

Pero no es muy eficaz. Sería mejor si simplificáramos las cosas con un asterisco, de la siguiente manera:

Este ejemplo bloquea a los motores de búsqueda a fin de que no rastreen todas las URLs bajo la subcarpeta /productos/ que contengan un signo de interrogación. En otras palabras, cualquier URL parametrizada de la categoría “producto”.

Usa “ dólares americanos ” para especificar el final de una URL

Incluye el símbolo “ dólares americanos ” para marcar el final de una URL. Por ejemplo, si quieres evitar que los motores de búsqueda accedan a todos y cada uno de los archivos .pdf de tu sitio, el fichero robots.txt debería verse así:

En este caso, los motores de búsqueda no pueden acceder a ninguna URL que finalice en.pdf. Esto significa que no pueden acceder a /archivo.pdf, mas pueden acceder a /archivo.pdf?id= porque no acaba con “.pdf”.

Usa cada user-agent sólo una vez

A Google no le importa si detallas exactamente el mismo user-agent múltiples veces. Sencillamente combinará todas las reglas de las diversas declaraciones en una y las seguirá todas y cada una. Por servirnos de un ejemplo, si tienes los siguientes user-agents y directivas en tu fichero robots.txt.…

… Googlebot
no dejaría de rastrearninguna de las 2 subcarpetas.

Dicho esto, tiene sentido declarar a cada usuario-agent sólo una vez pues es menos confuso. En otras palabras, es menos probable que cometas fallos críticos al sostener las cosas ordenadas y simples.

Sé específico para eludir errores involuntarios

La falta de instrucciones específicas a la hora de establecer directivas puede dar lugar a fallos fáciles que pueden tener un impacto catastrófico en el posicionamiento SEO. Por poner un ejemplo, supongamos que tienes un lugar multilingüe y que estás trabajando en una versión en alemán que estará libre en el subdirectorio /de/.

Debido a que no está listo para funcionar, quieres evitar que los motores de búsqueda accedan a él.

El marketing digital barcelona ón evitará que los motores de búsqueda accedan a esa subcarpeta y a todo lo que contiene:

Pero también evitará que los motores de búsqueda rastreen páginas o archivos que empiecen con
/de.

Por ejemplo:

/decoracion/

/delivery-informacion.html

/depeche-mode/camisetas/

/definitivamente-no-para-ser-visto-en-publico.pdf

En este caso, la solución es simple: añadir una barra.

Use comentarios para explicar tu fichero robots.txt a humanos

Los comentarios asisten a explicar el fichero robots.txt a los desarrolladores, e incluso potencialmente a tu futuro yo. Para incluir un comentario, empieza la línea con un numeral (#).

# Esto le indica a Bing que no rastree nuestro sitio.

Los rastreadores ignorarán todo cuanto haya en las líneas que comiencen con un numeral.

Usa un fichero robots.txt separado para cada subdominio

Robots.txt sólo controla el comportamiento de rastreo en el subdominio donde esté alojado. Si quieres controlar el rastreo en un subdominio diferente, necesitarás un archivo robots.txt separado.

Por ejemplo, si tu lugar principal se halla en dominio.com y tu weblog en blog.dominio.com, necesitarás dos archivos robots.txt. Uno debe ir en el directorio raíz del dominio principal, y el otro en el directorio raíz del blog.

Ejemplos de ficheros robots.txt

A continuación se muestran algunos ejemplos de archivos robots.txt. Estos son principalmente para inspirarse, pero si uno de ellos se ajusta a tus necesidades, cópialo y pégalo en un documento de texto, guárdalo como “robots.txt” y cárgalo en el directorio apropiado.

Acceso total para todos y cada uno de los bots

Si no se declara una URL después de una directiva, ésta se vuelve redundante. En otras palabras, los motores de búsqueda lo ignoran. Es por eso que esta directiva no tiene ningún efecto en el sitio; los motores de búsqueda todavía pueden rastrear todas y cada una de las páginas y ficheros.

Sin acceso para todos y cada uno de los bots

Bloquear un subdirectorio para todos y cada uno de los bots

Bloquear un subdirectorio para todos los bots (con un archivo interno tolerado)

Bloquear un archivo para todos los bots

Bloquear un tipo del archivo (PDF) para todos y cada uno de los bots

Bloquear todas las URLs parametrizadas sólo para Googlebot

¿Cómo auditar tu archivo robots.txt en pos de fallos?

Los fallos de robots.txt se pueden deslizar por la red con bastante sencillez, por lo que merece la pena estar atento a los problemas.

Para hacerlo, busca de forma regular cuestiones relacionadas al robots.txt en el reporte de “Cobertura” de. Aquí debajo tienes ciertos fallos que podrías ver, qué significan y cómo podrías solventarlos.

¿Necesitas buscar fallos en una página determinada?

Pega la URL en la herramienta de inspección de URLs de Google en Search Console. Si está bloqueado por robots.txt, deberías ver algo como esto:

URL presentada bloqueada por robots.txt

Esto quiere decir que por lo menos una de las URL de los sitemaps presentados está bloqueada por robots.txt.

Si túy excluiste páginas, noindexadas, y, entonces
ninguna página presentada debería ser bloqueada por robots.txt. Si es así, investiga qué páginas están perjudicadas y a continuación ajusta el archivo robots.txt en consecuencia para suprimir el bloqueo de esa página.

Puedes utilizar elpara ver qué directiva bloquea el contenido. Sólo ten cuidado al hacer esto, es fácil cometer errores que afectan a otras páginas y archivos.

Bloqueado por robots.txt

Esto quiere decir que tienes contenido bloqueado por robots.txt que no está indexado hoy en día en Google.

Si este contenido es esencial y ha de ser indizado, elimina el bloqueo de rastreo en robots.txt. Si has bloqueado contenido en robots.txt con la intención de excluirlo del índice de Google, elimina el bloqueo y usa una meta etiqueta de robots o un encabezado x‑robots. Esa es la única manera de asegurar la exclusión de contenido del índice de Google.

Es esencial eliminar el bloqueo de rastreo cuando se procura excluir una página de los resultados de la búsqueda. Si no lo haces, Google no verá la etiqueta noindex ni el encabezado HTTP, por lo que permanecerá indizada.

Indexada, si bien bloqueada por robots.txt

Esto significa que una parte del contenido bloqueado por robots.txt prosigue estando indizado en Google.

Una vez más, si estás procurando excluir este contenido de los resultados de búsqueda de Google, robots.txt no es la solución correcta. Quita el bloqueo de rastreo y en su sitio usa unapara prevenir la indexación.

Si has bloqueado este contenido por accidente y deseas mantenerlo en el índice de Google, suprime el bloqueo del rastreo en robots.txt. Esto puede ayudar a progresar la visibilidad del contenido en la búsqueda de Google.

FAQs

Aquí están algunas de las preguntas más usuales que no encajaban de forma natural en otra una parte de nuestra guía: haznos saber en los comentarios si falta algo, y actualizaremos la sección en consecuencia.

¿Cuál es el tamaño máximo de un fichero robots.txt?

(más o menos).

¿Dónde está robots.txt en Wordpress?

En exactamente el mismo lugar:
dominio.com/robots.txt.

¿Cómo puedo editar robots.txt en Wordpress?

De forma manual o utilizandocomo Yoast que te permite editar robots.txt desde el backend de WordPress.

¿Qué sucede si no dejo el acceso a contenido no-indexado en robots.txt?

Google jamás verá la directiva noindex por el hecho de que no puede rastrear la página.

“¿Sabías que bloquear una página con un robots.txt disallow y un noindex en la página no tiene mucho sentido pues Googlebot no puede “ver” el noindex?”

Conclusiones

Robots.txt es un fichero simple pero poderoso. Utilízalo de manera sabia, y puede tener un impacto positivo en el posicionamiento web. Úsalo al azar y, bueno, vivirás para arrepentirte.

¿Tienes más preguntas? Deja un comentario o bien.