Empieza por el resultado que buscas
Permitir un rastreador no equivale a comprar tráfico. OpenAI explica que el acceso de OAI-SearchBot ayuda a que contenido público pueda ser descubierto, mostrado, citado y enlazado en ChatGPT Search. Anthropic separa Claude-SearchBot, que trabaja para mejorar los resultados de búsqueda, de Claude-User, que recupera una página a petición de una persona. Perplexity documenta la misma diferencia entre PerplexityBot y Perplexity-User.
La primera capa: descubrimiento para resultados de IA
Esta capa cubre los bots que buscan contenido para mejorar resultados. Si quieres que una página indexable tenga la oportunidad de aparecer, no bloquees estos agentes con reglas contradictorias. Aun permitidos, no hay garantía de rastreo, posición, resumen o cita.
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /La segunda capa: una visita solicitada por una persona
Cuando alguien pregunta por una URL concreta o pide que su asistente consulte una fuente, el agente puede ser distinto del bot de búsqueda. Mantener esta ruta disponible ayuda a que el sistema pueda recuperar el contenido cuando un usuario lo solicita. No concedas acceso a zonas privadas: protege paneles, rutas de administración y datos personales con autenticación, no solo con robots.txt.
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Perplexity-User
Allow: /La tercera capa: entrenamiento y recopilación de modelos
Esta decisión es separada. OpenAI diferencia GPTBot de OAI-SearchBot; Anthropic documenta ClaudeBot como la preferencia relacionada con futuras recopilaciones para sus modelos. Si tu intención es permitir búsqueda y visitas solicitadas, pero expresar que no autorizas entrenamiento, el bloque puede ser explícito:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /Revisa siempre la documentación de cada proveedor: las identidades, políticas y mecanismos de verificación cambian. Estas reglas son una preferencia de rastreo, no un contrato, una barrera de acceso ni una prueba de cumplimiento.
Une el ejemplo a tus reglas existentes
No reemplaces un archivo complejo sin revisarlo. Conserva las reglas de buscadores, las exclusiones de administración y cualquier política de rutas que ya uses. Primero busca reglas para el mismo agente; dos bloques contradictorios dificultan una revisión humana y pueden dar resultados inesperados según el rastreador.
Para páginas que no deben aparecer en resultados, usa controles de acceso reales y, cuando corresponda, una etiqueta noindex. Un bot debe poder rastrear la página para leer esa etiqueta; por eso bloquear y usar noindex requieren una decisión coordinada.
Robots.txt y Cloudflare no son lo mismo
Robots.txt indica una preferencia. No crea reglas de Cloudflare WAF, no valida una identidad por sí solo y no desbloquea un desafío de navegador. Perplexity recomienda combinar el agente de usuario con sus rangos IP publicados cuando una WAF necesita una excepción; usa siempre las fuentes actuales del proveedor y evita permitir por nombre de agente sin verificación adicional.
Publica contenido que merezca una cita
La accesibilidad técnica es solo la base. Un resultado útil necesita un título claro, una fecha visible, fuentes primarias, una respuesta completa y una URL estable. No ocultes el contenido principal detrás de un inicio de sesión ni lo entregues solo mediante JavaScript. Después de publicar, comprueba el código HTTP, el HTML inicial, canonical, robots y sitemap.
Verificación final antes de esperar tráfico
Prueba una URL pública con el auditor y conserva el resultado como una revisión puntual. Comprueba también que tu WAF no responda con 403 o desafíos a los bots legítimos. Luego mide visitas de referencia reales y búsquedas; una regla correcta elimina un obstáculo, pero no sustituye contenido útil, enlaces editoriales ni tiempo de indexación.
Preguntas frecuentes
Hogar Mas · hogarmas.net
¿Permitir OAI-SearchBot permite también GPTBot?
No. Son agentes distintos y sus reglas se pueden escribir por separado. OAI-SearchBot está relacionado con descubrimiento para ChatGPT Search; GPTBot es una preferencia separada sobre entrenamiento.
¿Puedo bloquear entrenamiento y mantener búsqueda?
Puedes expresarlo con bloques separados. Eso no garantiza indexación, cita ni cumplimiento; tampoco configura una WAF ni reemplaza controles de acceso.
¿Perplexity-User es lo mismo que PerplexityBot?
No. Perplexity describe PerplexityBot para resultados de búsqueda y Perplexity-User para recuperaciones originadas por solicitudes de usuarios.
¿Necesito abrir todo mi sitio?
No. Define qué rutas públicas quieres que puedan descubrirse y protege administración, cuentas y datos personales con autenticación. No confíes en robots.txt como un control de seguridad.
Fuentes oficiales consultadas
OpenAI: Publishers and Developers FAQ · OpenAI: Overview of OpenAI Crawlers · Anthropic: crawlers y robots.txt · Perplexity: Crawlers