¿Qué es un rastreador de IA?
Un rastreador de IA es el agente automático con el que una empresa de IA recoge contenido web, ya sea para entrenar modelos o para responder a una consulta en el momento. Se identifica con su propio user-agent y se controla desde robots.txt.
- Última revisión
También: AI crawler · GPTBot · ClaudeBot · Google-Extended
En corto
- No todos hacen lo mismo: unos recogen para entrenar y otros van a buscar una página durante una respuesta.
- Bloquear el de entrenamiento y permitir el de respuesta en directo son decisiones distintas.
- Bloquear el rastreador que alimenta las citas implica renunciar a las citas.
La decisión que hay que tomar de verdad
Separar los dos casos en `robots.txt`. En el de Google, por ejemplo, el control del uso para entrenamiento y el rastreo para la búsqueda son tokens distintos, y confundirlos deja el sitio fuera de los resúmenes sin necesidad. La documentación de Google Search Central lista cada rastreador y para qué se usa.
Términos relacionados
Fuentes
- Overview of Google crawlers and fetchers — Google Search Central. Comprobado el .
- Top ways to ensure your content performs well in Google's AI experiences — Google Search Central. Comprobado el .