Ce qu’est llms.txt, et ce qu’il n’est pas
llms.txt est un fichier markdown placé à la racine d’un domaine, qui liste les pages qu’un assistant IA devrait lire pour comprendre un site. Il a été proposé par Jeremy Howard en septembre 2024, et le format est volontairement réduit : un H1 avec le nom du site, un résumé en citation, puis des sections H2 contenant des liens markdown, chacun suivi d’une note facultative après les deux-points.
Le problème qu’il traite est le contexte, pas l’accès. Un modèle qui répond à une question sur votre produit ne peut pas lire tout votre site ; il lit ce qu’il trouve et ce qui tient. llms.txt est l’occasion de dire quelles pages contiennent la réponse.
llms.txt ou robots.txt
On les confond souvent, et ils règlent des problèmes différents. robots.txt est un fichier de permissions : il dit à un robot ce qu’il peut récupérer, et y bloquer GPTBot signifie que ChatGPT ne peut pas lire vos pages du tout. llms.txt suppose que l’accès existe déjà et oriente l’attention à l’intérieur.
L’ordre compte : un llms.txt parfait sur un site qui bloque les robots d’IA ne sert à rien, car aucun modèle ne récupère jamais le fichier. Si vous n’avez pas vérifié, notre vérificateur d’accès des robots d’IA lit votre robots.txt en ligne et vous répond en quelques secondes.
Une remarque honnête sur l’adoption
Aucun grand fournisseur d’IA ne s’est engagé publiquement à lire llms.txt comme les moteurs de recherche se sont engagés à respecter robots.txt. L’adoption est réelle mais concentrée sur les sites d’outils pour développeurs et de documentation. Nous en publions un, et nous ne prétendrions pas que c’est grâce à lui que quiconque est cité. L’argument en sa faveur, c’est qu’il coûte quelques minutes et ne peut pas nuire, pas qu’il s’agit d’un facteur de classement.
À quoi ressemble un bon fichier
Trois habitudes distinguent un fichier utile d’un fichier inutile.
- Rédigez les notes. Le texte après les deux-points est ce qui indique à un modèle quand une page est pertinente. Une liste de liens nus, c’est un sitemap avec des étapes en plus.
- Restez court. Dix à quarante liens valent mieux que deux cents. Tout l’intérêt est de tenir dans une fenêtre de contexte, à côté de la question posée.
- Utilisez des URL absolues. Un modèle les récupère directement et n’a aucune page à partir de laquelle résoudre un chemin relatif.
Questions fréquentes
- Qu’est-ce que llms.txt ?
- llms.txt est un simple fichier markdown placé à la racine d’un domaine, qui liste les pages qu’un assistant IA devrait lire pour comprendre le site. Il a été proposé par Jeremy Howard en 2024. Là où robots.txt dit ce qu’un robot peut récupérer, llms.txt dit ce qui vaut la peine d’être lu : une carte choisie, dimensionnée pour tenir dans la fenêtre de contexte d’un modèle.
- llms.txt, est-ce la même chose que robots.txt ?
- Non. robots.txt est un fichier de permissions : il accorde ou refuse l’accès aux robots, qui le respectent par convention. llms.txt est un fichier de découverte : il pointe vers vos pages les plus utiles et les décrit. L’un contrôle l’accès, l’autre contrôle ce qui est mis en avant, et un site peut vouloir les deux.
- Les modèles d’IA lisent-ils vraiment llms.txt ?
- Le support est inégal, et il faut le dire honnêtement. Aucun grand fournisseur ne s’est engagé à le lire comme les moteurs de recherche se sont engagés à respecter robots.txt. L’adoption progresse parmi les sites d’outils pour développeurs, et plusieurs plateformes de documentation en génèrent désormais un par défaut. Le fichier ne coûte presque rien à publier, et c’est aujourd’hui le principal argument en sa faveur.
- Quelle différence entre llms.txt et llms-full.txt ?
- llms.txt est l’index : une courte liste de liens avec une description d’une ligne. llms-full.txt est le contenu lui-même : le markdown complet de ces pages réuni dans un seul fichier, pour qu’un modèle puisse tout lire sans suivre de liens. Publiez d’abord llms.txt ; llms-full.txt n’a de sens qu’une fois l’index stabilisé.
- Combien de liens llms.txt doit-il contenir ?
- Moins que dans un sitemap. L’objectif est de tenir dans une fenêtre de contexte, donc la plupart des sites ont intérêt à garder 10 à 40 liens couvrant la documentation, les pages produit clés et la poignée d’articles qui définissent leur expertise. Un fichier qui liste toutes les URL va à l’encontre de son propre but.
- Où placer le fichier ?
- À la racine du domaine, pour qu’il réponde à https://votresite.com/llms.txt. C’est un fichier texte statique : pas de build, pas d’en-têtes particuliers, pas de configuration serveur.