Tu robots.txt dice a quién dejas entrar. Tus logs dicen quién entra de verdad. Para saber si los motores de IA están leyendo tu tienda, los logs de acceso del servidor son la fuente objetiva: cada visita de un bot declarado queda registrada con su user-agent.
Por qué mirar los logs y no suponer
Entre lo que crees que permite tu robots.txt y lo que ocurre hay tres desviaciones habituales: un plugin o CDN que bloquea por encima de tu configuración, bots que ignoran las reglas, y bots permitidos que simplemente no vienen porque tu web no les da motivo. Las tres se diagnostican igual: mirando quién aparece en el log.
El comando (nginx / Apache)
Los bots de IA declarados incluyen una cadena reconocible en su user-agent. Este filtro captura los principales:
grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|Google-Extended|Amazonbot|Bytespider|CCBot|meta-externalagent|DuckAssistBot" access.log | awk -F'"' '{print $6}' | sort | uniq -c | sort -rn |
El resultado es un recuento por user-agent: cuántas peticiones ha hecho cada bot en el periodo del log. En hosting compartido o Shopify, donde no hay acceso a logs crudos, el equivalente son las herramientas de analítica del panel que desglosan tráfico de bots.
Cómo interpretar lo que encuentres
Aparecen los crawlers de búsqueda (OAI-SearchBot, PerplexityBot, Claude-SearchBot): buena señal — los motores te están indexando para respuestas en vivo. Aparecen los fetchers de usuario (ChatGPT-User, Perplexity-User): excelente señal — usuarios reales están llegando a tu tienda desde conversaciones con IA; cada una de esas visitas es un cliente potencial que la IA te ha traído. Solo aparecen crawlers de entrenamiento (GPTBot, CCBot a granel): te están leyendo para entrenar, pero aún no te usan para responder. No aparece nada: o hay un bloqueo aguas arriba (CDN, plugin) o tu web no está en el radar de los motores — y eso sí es accionable con GEO.
Una pauta típica observada en webs medianas: los crawlers de búsqueda visitan pocas páginas pero con frecuencia, priorizando las actualizadas recientemente; los de entrenamiento hacen barridos grandes y espaciados.
Lo que los logs no te dicen
El log demuestra que el bot leyó tu página, no que el motor la cite. Un crawler puede indexarte y después no usarte nunca en una respuesta. Además, una parte creciente del tráfico de agentes navega con apariencia de navegador normal y no se identifica — el recuento de user-agents declarados es un suelo, no un techo. La medición del resultado final (¿me cita ChatGPT cuando alguien pregunta por mi categoría?) requiere preguntar a los propios motores de forma sistemática.
Preguntas frecuentes
¿Cada cuánto conviene revisar los logs?
Mensualmente para el pulso normal, y siempre después de actualizar plugins SEO o tocar el CDN — los dos puntos donde más bloqueos accidentales nacen.
¿Puedo fiarme del user-agent?
Para permitir, sí con matices: cualquiera puede falsificar la cadena, así que para verificaciones serias los proveedores publican sus rangos de IP y se comprueba con DNS inverso. Para el diagnóstico de visibilidad, el recuento de declarados es suficiente.
¿Ver ChatGPT-User en mis logs significa ventas?
Significa clientes potenciales llegando desde conversaciones de IA: alguien preguntó y la IA visitó tu tienda para responderle. Es de las señales más valiosas del log porque conecta visibilidad con intención de compra.