L’IA peut-elle lire
votre site ?

Pourquoi l’accès des robots décide si l’IA peut vous citer

Les assistants IA répondent à partir des pages qu’ils peuvent récupérer. Quand quelqu’un demande à ChatGPT quels outils envisager dans votre catégorie, soit le modèle a accès à vos pages, soit il n’y a pas accès, et si robots.txt interdit GPTBot, il n’y a pas accès. Aucune qualité de contenu n’y change rien. L’accès est la condition préalable à tout le reste.

Cela vaut la peine d’être vérifié plutôt que supposé, car le fichier servi n’est pas toujours celui que vous avez écrit.

La plupart des blocages n’ont jamais été décidés

Plusieurs CDN et hébergeurs ajoutent désormais le blocage des robots d’IA par défaut, et ils injectent ces règles au-dessus des vôtres dans le fichier servi. Comme les robots appliquent le premier groupe qui correspond, le blocage de l’opérateur l’emporte et vos règles en dessous ne s’appliquent jamais. Cela nous est arrivé sur notre propre domaine : le dépôt indiquait que tous les robots d’IA étaient autorisés, et le fichier en ligne disait l’inverse. Lire le robots.txt déployé est la seule vérification fiable.

Les robots, et ce que chacun régit

Ils ne sont pas interchangeables, et en bloquer un ne revient pas à en bloquer un autre.

• GPTBot explore en masse pour OpenAI, tandis que ChatGPT-User récupère une seule page en direct quand un utilisateur demande à ChatGPT de naviguer, et OAI-SearchBot alimente ChatGPT Search. Trois chemins différents vers la citation.
• ClaudeBot et Claude-User se répartissent de la même façon chez Anthropic : exploration en masse d’un côté, récupération pendant la conversation de l’autre.
• Google-Extended n’est pas du tout un robot. Google explore de toute façon avec Googlebot ; ce jeton contrôle si ce contenu peut être utilisé dans Gemini et les AI Overviews. Le bloquer n’affecte pas votre classement dans la recherche.
• PerplexityBot compte plus que sa taille ne le laisse penser, car Perplexity s’appuie fortement sur la récupération en direct et cite ses sources explicitement.

Bloquer est un choix légitime

Les éditeurs qui vendent l’accès à leurs archives bloquent ces robots volontairement, et ils ont raison. La distinction utile se fait entre entraînement et récupération : Google-Extended et Applebot-Extended régissent l’entraînement des modèles et les réponses de l’IA plutôt que l’indexation pour la recherche, si bien que certains opérateurs vous laissent autoriser l’un tout en limitant l’autre. Le problème n’est pas de bloquer : c’est de bloquer sans le savoir.

Une fois les robots autorisés

L’accès vous rend éligible, pas cité. La question suivante est de savoir si vos pages sont citables : si elles répondent à la question d’un acheteur dans un passage qu’un modèle peut reprendre. Si vous voulez le fichier qui indique aux assistants quelles pages comptent le plus, notre générateur de llms.txt en crée un dans votre navigateur.

Questions fréquentes

Pourquoi le blocage d’un robot d’IA compte-t-il ?

Les assistants IA répondent à partir des pages qu’ils peuvent récupérer. Si GPTBot est interdit dans votre robots.txt, ChatGPT n’a rien de vous à lire et ne peut pas vous citer, quelle que soit la qualité de votre contenu. L’accès est la condition préalable à toute visibilité dans les réponses de l’IA.

Est-ce que je bloque des robots d’IA sans le savoir ?

C’est fréquent. Plusieurs CDN et hébergeurs ajoutent par défaut des blocages de robots d’IA, injectés dans le robots.txt au-dessus de vos propres règles : le fichier que vous avez écrit n’est donc pas celui qui est servi. Vérifier le robots.txt en ligne est le seul moyen fiable de le savoir.

Quelle différence entre GPTBot et ChatGPT-User ?

GPTBot explore les pages en masse pour entraîner et alimenter le modèle. ChatGPT-User récupère une page précise sur le moment, quand un utilisateur demande à ChatGPT de naviguer. Bloquer l’un ou l’autre supprime un chemin différent vers la citation.

Autoriser les robots signifie-t-il que mon contenu entraîne leurs modèles ?

C’est possible, et c’est un vrai compromis. Google-Extended et Applebot-Extended régissent l’entraînement et les réponses de l’IA plutôt que l’indexation pour la recherche : chez certains opérateurs, vous pouvez donc autoriser la récupération tout en limitant l’entraînement. Décidez-le volontairement plutôt que par défaut.