En este artículo, voy a explicar por qué deberíamos utilizar la etiqueta header X-Robots-Tag en un servidor caddy. Esta etiqueta nos permite controlar cómo los motores de búsqueda rastrean e indexan nuestro contenido, especialmente cuando se trata de archivos que no son HTML, como imágenes, PDF o vídeos.
La etiqueta header X-Robots-Tag es una alternativa a la metaetiqueta robots, que se coloca en la sección <head> de una página web HTML. La metaetiqueta robots nos permite especificar directivas como noindex, nofollow, nosnippet o noarchive para indicar a los motores de búsqueda cómo queremos que traten nuestra página. Sin embargo, esta metaetiqueta solo funciona para páginas HTML y no para otros tipos de archivos.
Aquí es donde entra en juego la etiqueta header X-Robots-Tag. Esta etiqueta se puede usar como un elemento del encabezado HTTP de respuesta para una URL determinada. Cualquier regla que se pueda usar en una metaetiqueta robots también se puede especificar como una etiqueta X-Robots-Tag. Por ejemplo, si queremos evitar que Google indexe una imagen, podemos usar el siguiente encabezado HTTP: X-Robots-Tag: noindex De esta forma, le estamos diciendo a Google que no incluya esa imagen en su índice y que no la muestre en los resultados de búsqueda. Podemos usar la misma etiqueta para otros tipos de archivos, como PDF o vídeos.
La etiqueta header X-Robots-Tag también es útil porque nos permite combinar múltiples etiquetas dentro de una respuesta HTTP o usar una lista de directivas separadas por comas para especificar directivas. Por ejemplo, si queremos evitar que Google indexe un PDF y que tampoco muestre un snippet o una versión en caché del mismo, podemos usar el siguiente encabezado HTTP: X-Robots-Tag: noindex, nosnippet, noarchive De esta forma, le estamos dando más instrucciones a Google sobre cómo queremos que trate nuestro archivo PDF.
Ahora bien, ¿cómo podemos utilizar la etiqueta header X-Robots-Tag en un servidor caddy?
Caddy es un servidor web de código abierto que se caracteriza por su facilidad de uso y su soporte para HTTPS automático. Para usar la etiqueta header X-Robots-Tag en caddy, tenemos que configurar el archivo Caddyfile, que es el archivo donde definimos las reglas y directivas para nuestro servidor. En el archivo Caddyfile, podemos usar la directiva header para establecer los encabezados HTTP de respuesta para nuestras URL. Por ejemplo, si queremos evitar que Google indexe todas las imágenes de nuestro sitio web, podemos usar la siguiente regla:
De esta forma, le estamos diciendo a caddy que añada el encabezado HTTP X-Robots-Tag: noindex a todas las respuestas de las URL que terminen en .jpg. Podemos hacer lo mismo para otros tipos de archivos o para URL específicas.
Como hemos visto, la etiqueta header X-Robots-Tag es una herramienta muy útil para controlar cómo los motores de búsqueda rastrean e indexan nuestro contenido. Al usarla en un servidor caddy, podemos aprovechar su simplicidad y flexibilidad para configurar los encabezados HTTP de respuesta de forma fácil y rápida.
Para evitar que los motores de búsqueda indexen tu sitio web, puedes agregar la siguiente línea ar archivo Caddyfile:
La línea header X-Robots-Tag "noindex, nofollow" le indica a los motores de búsqueda que no indexen la página al completo.
Ejecuta el siguiente comando:
Este comando envía una solicitud HTTP GET a la URL https://subdominio.midominio.duckdns.org y muestra la respuesta del servidor en la que se incluyen los encabezados de respuesta.
El parámetro -I indica a curl que solo muestre los encabezados de respuesta y no el cuerpo de la respuesta.
Si la directiva de encabezado personalizado se ha configurado correctamente, verás una línea en la salida que comienza con X-Robots-Tag: y que contiene el valor noindex, nofollow.
Si no ves el encabezado X-Robots-Tag en la respuesta del servidor, revisa la configuración de Caddy para asegurarte de que se ha configurado correctamente.
Publicado por Angel el Friday 07 April del 2023
También te puede interesar:
Powered by org-bash-blog
Written in OrgMode with Emacs and converted to HTML with Pandoc
Este obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial-CompartirIgual 4.0 Internacional.