Un solo robots.txt toma hoy tres decisiones distintas: si tu contenido entrena modelos, si aparece en las respuestas de IA y si los asistentes pueden visitar tu tienda cuando un cliente se lo pide. Confundirlas tiene un coste directo: hay tiendas invisibles para ChatGPT por una línea heredada de 2023.
Las 3 familias de bots de IA
Cada gran proveedor de IA opera varios crawlers con funciones separadas. Entenderlas evita el error más caro:
1. Crawlers de entrenamiento (GPTBot, ClaudeBot, CCBot): recopilan contenido para entrenar futuros modelos. Bloquearlos es una decisión de propiedad intelectual; no afecta a tu visibilidad inmediata en las respuestas.
2. Crawlers de búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot): indexan tu web para que el motor pueda citarte en respuestas en vivo. Bloquearlos te borra de las respuestas de IA. Para una tienda que quiere aparecer, estos son intocables.
3. Fetchers a petición del usuario (ChatGPT-User, Claude-User, Perplexity-User): visitan tu página cuando un usuario concreto lo pide en la conversación. Perplexity declara que su fetcher actúa como agente del usuario y no se considera obligado por robots.txt.
Tabla de user-agents relevantes para ecommerce (julio 2026)
| User-agent | Empresa | Función | Si quieres visibilidad IA |
|---|---|---|---|
| GPTBot | OpenAI | Entrenamiento | Opcional |
| OAI-SearchBot | OpenAI | Búsqueda / citas en ChatGPT | Permitir |
| ChatGPT-User | OpenAI | Visita a petición del usuario | Permitir |
| ClaudeBot | Anthropic | Entrenamiento | Opcional |
| Claude-SearchBot | Anthropic | Búsqueda / citas en Claude | Permitir |
| Claude-User | Anthropic | Visita a petición del usuario | Permitir |
| PerplexityBot | Perplexity | Índice de búsqueda | Permitir |
| Google-Extended | Token de opt-out de entrenamiento Gemini | Opcional (no afecta al ranking en Google) | |
| Applebot-Extended | Apple | Token de opt-out de entrenamiento | Opcional |
| Amazonbot | Amazon | Alexa y respuestas IA de Amazon | Permitir |
| Meta-ExternalAgent | Meta | Entrenamiento / IA de Meta | Opcional |
| Bytespider | ByteDance | Entrenamiento; documentado ignorando robots.txt | Bloqueo a nivel de servidor si molesta |
Dos notas de mantenimiento: los antiguos user-agents anthropic-ai y claude-web están obsoletos (Anthropic los retiró en favor de la familia ClaudeBot); y Googlebot nunca debe bloquearse — el control del entrenamiento de Gemini se hace con el token Google-Extended, que no afecta al posicionamiento en el buscador.
Configuración recomendada para una tienda que quiere aparecer
El punto de partida razonable para un ecommerce que busca visibilidad en IA es simple: permitir toda la familia de búsqueda y fetchers (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot) y decidir conscientemente sobre los de entrenamiento según tu política de contenido. Bloquear entrenamiento y permitir búsqueda es perfectamente posible: son user-agents separados y cada uno necesita su propia directiva.
El error silencioso: el plugin que te borra de la IA
Varios plugins SEO populares añadieron en 2024-2025 un interruptor de “bloquear bots de IA”, en algunos casos activado por defecto tras una actualización. El resultado documentado en auditorías de ecommerce: tiendas que se desconectaron de ChatGPT, Claude y Perplexity de la noche a la mañana sin que nadie tocara nada a mano. La defensa es rutinaria: revisar el robots.txt real (el publicado, no el que crees tener) después de cada actualización de plugin, y una auditoría trimestral completa. También conviene revisar el panel del CDN: algunos ofrecen un bloqueo de bots de IA de un clic que actúa por encima de tu robots.txt.
Preguntas frecuentes
¿Bloquear GPTBot me quita visibilidad en ChatGPT?
No de forma inmediata: GPTBot es el crawler de entrenamiento. La visibilidad en las respuestas con búsqueda depende de OAI-SearchBot y ChatGPT-User. A largo plazo, bloquear el entrenamiento reduce la probabilidad de estar en el conocimiento base de futuros modelos.
¿Puedo permitir la búsqueda de IA pero no el entrenamiento?
Sí: permite OAI-SearchBot, Claude-SearchBot y PerplexityBot, y bloquea GPTBot, ClaudeBot y Google-Extended. Cada token necesita su propia directiva en robots.txt.
¿Cómo sé qué bots visitan ya mi tienda?
Buscando sus nombres en los logs de acceso del servidor. Los declarados incluyen una cadena reconocible (GPTBot, ClaudeBot, PerplexityBot…). Tenemos una guía específica para detectarlos.