¿Deben los hoteles bloquear los rastreadores de IA?
Respuesta breve
La mayoría de los hoteles no deberían bloquear los rastreadores que usan los productos de búsqueda con IA para mostrar sitios web en sus respuestas, porque bloquearlos puede dejar tu sitio fuera de esos resultados. Los rastreadores de entrenamiento son una decisión aparte: puedes permitir la búsqueda y, al mismo tiempo, excluirte del entrenamiento de modelos. Por ejemplo, OpenAI documenta OAI-SearchBot para la búsqueda de ChatGPT y GPTBot para el entrenamiento como ajustes independientes, y Google-Extended controla algunos usos del contenido para los modelos de IA de Google sin afectar la Búsqueda de Google. Decide rastreador por rastreador en robots.txt y comprueba que tu firewall no los esté bloqueando por accidente.
Por Equipo editorial de Lodging Engine· Última revisión:
Qué hace cada rastreador
| Token del rastreador | Operador | Finalidad (según la documentación del operador) |
|---|---|---|
Googlebot | Rastreo para la Búsqueda de Google, incluidos AI Overviews y el Modo IA | |
Google-Extended | Controla el uso del contenido para entrenar y fundamentar algunos modelos de IA de Google; no es una señal de posicionamiento en la Búsqueda | |
OAI-SearchBot | OpenAI | Mostrar sitios en los resultados de búsqueda de ChatGPT |
GPTBot | OpenAI | Contenido que puede usarse para entrenar modelos fundacionales |
PerplexityBot | Perplexity | Mostrar y enlazar sitios en la búsqueda de Perplexity; no se usa para entrenar modelos fundacionales |
Los operadores actualizan estas listas; revisa su documentación antes de cambiar tus reglas.
Qué cambia si los bloqueas
- Bloquear `Googlebot` te saca de la Búsqueda de Google: nunca lo hagas en el sitio de un hotel en funcionamiento.
- Bloquear `OAI-SearchBot`: OpenAI indica que los sitios excluidos no se mostrarán en las respuestas de búsqueda de ChatGPT (aunque podrían seguir apareciendo como enlaces de navegación).
- Bloquear `GPTBot` o `Google-Extended` es una decisión sobre los datos de entrenamiento; según los operadores, no te saca de sus resultados de búsqueda.
- Los agentes que actúan a petición del usuario (como ChatGPT-User o Perplexity-User) actúan cuando una persona lo solicita y puede que no sigan robots.txt de la misma manera: revisa la documentación de cada operador.
Ejemplo de robots.txt (permitir la búsqueda, excluirse del entrenamiento)
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /Solo es un ejemplo. robots.txt controla el rastreo, no la indexación: Google señala que no sirve para mantener una página fuera de los resultados de búsqueda.
Revisa tu firewall y tu CDN
La configuración de protección contra bots en el hosting o en la CDN puede bloquear a los rastreadores de búsqueda con IA aunque robots.txt los permita. Si quieres aparecer en la búsqueda con IA, revisa también esa configuración.
Cómo decidir
- ¿Quieres aparecer en las respuestas de la búsqueda con IA? Permite los rastreadores de búsqueda.
- ¿Te preocupa que tu contenido se use para entrenamiento? Bloquea los tokens de entrenamiento.
- ¿No estás seguro? Permitir la búsqueda y bloquear el entrenamiento es un término medio habitual.
Errores comunes
- Un
Disallow: /general para bots desconocidos que termina bloqueando a los rastreadores de búsqueda. - Copiar el robots.txt de otro sitio sin entender cada regla.
- Olvidar en el sitio en producción las reglas del entorno de pruebas (
Disallow: /).
Lista de verificación
- robots.txt revisado regla por regla
- Rastreadores de búsqueda permitidos (Googlebot, OAI-SearchBot, PerplexityBot)
- Exclusiones de entrenamiento configuradas de forma deliberada
- Configuración de bots en la CDN o el firewall revisada
- Cambios verificados de nuevo después de cada lanzamiento del sitio
Fuentes
- Overview of OpenAI crawlers — OpenAI
- Perplexity crawlers — Perplexity
- List of Google's common crawlers — Google Search Central
- Robots.txt introduction and guide — Google Search Central
- AI features and your website — Google Search Central