Comment A/B tester le GEO : prouver que vos actions de visibilité IA ont vraiment fonctionné

Résumé

On ne peut pas répartir le trafic dans une réponse IA : la mécanique habituelle de l’A/B test ne s’applique donc pas au GEO. Ce qui fonctionne, c’est un protocole en paires appariées : constituer deux groupes de prompts comparables, modifier les sources qui alimentent l’un d’eux, laisser l’autre intact, puis comparer l’écart d’évolution du taux d’inclusion plutôt que le chiffre brut avant/après. Cet article explique pourquoi les réponses IA résistent au test classique, comment structurer un protocole qui survit à la non-déterminisme, combien de temps le faire tourner, et comment lire le résultat sans prendre du bruit pour une victoire.

La réponse directe : comment A/B tester un changement GEO

La séquence tient en quelques lignes ; le raisonnement derrière chaque étape suit ensuite.

• Choisissez une hypothèse formulée de façon à pouvoir être infirmée. Pas « améliorer notre visibilité IA » mais « ajouter un tableau de comparaison tarifaire structuré à notre page alternatives augmentera notre taux d’inclusion sur les prompts à intention tarifaire ».
• Divisez votre jeu de prompts en un groupe de traitement (les prompts que le changement doit affecter) et un groupe témoin (des prompts comparables qu’il ne doit pas affecter). Douze à vingt prompts par groupe est un minimum praticable.
• Établissez une référence sur trois semaines, en interrogeant chaque prompt sur chaque moteur à cadence fixe. Vous mesurez la volatilité naturelle de chaque groupe, pas seulement sa moyenne.
• Déployez exactement un changement, et seulement sur les sources qui alimentent le groupe de traitement. Deux changements simultanés rendent le résultat ininterprétable.
• Continuez à mesurer pendant quatre à six semaines. Les index de récupération et le comportement des modèles ne se mettent pas à jour le jour de votre publication.
• Calculez la différence des différences : (traitement après − traitement avant) − (témoin après − témoin avant). Ce chiffre est votre effet.
• Décidez à l’avance quelle ampleur d’effet justifierait un déploiement plus large, et tenez-vous-y une fois les données arrivées.

Pourquoi les réponses IA cassent l’A/B test classique

Un test web classique randomise au niveau de l’utilisateur. La moitié des visiteurs voit la variante A, l’autre la variante B, et comme l’affectation est aléatoire, tout le reste se moyenne. Rien de cette infrastructure n’existe dans la recherche IA. Vous ne pouvez pas montrer une version de votre page à ChatGPT et une autre à Gemini. Il n’y a qu’un seul web, et tous les moteurs lisent le même.

Trois propriétés rendent l’exercice plus difficile qu’il n’y paraît. La première est la non-déterminisme : le même prompt, envoyé deux fois à une minute d’intervalle, peut renvoyer une shortlist différente. Température d’échantillonnage, variation de la récupération et personnalisation y contribuent toutes. Une observation isolée ne vaut pratiquement rien comme preuve.

La deuxième est la latence. Quand vous publiez ou obtenez une nouvelle source, elle doit être crawlée, indexée, puis effectivement récupérée pour une requête donnée avant de pouvoir influencer une réponse. Selon le moteur et le domaine, cela prend de quelques jours à plus d’un mois. Les équipes déclarent régulièrement un changement inefficace au dixième jour, alors que rien ne s’était encore propagé.

La troisième est que le sol bouge sous vos pieds. De nouvelles versions de modèles sortent, les stacks de récupération évoluent, les concurrents publient. Si votre taux d’inclusion grimpe de huit points pendant votre fenêtre de test, une partie vient peut-être de votre changement et une autre d’une mise à jour de modèle qui a fait monter toute la catégorie. Sans groupe témoin, impossible de séparer les deux — et la tentation de s’attribuer les huit points est forte.

Concevoir le test : paires appariées et groupe témoin

Puisque vous ne pouvez pas randomiser les utilisateurs, randomisez les prompts. L’unité d’affectation devient le prompt, pas le visiteur. Constituez la liste des prompts qui comptent pour vous, puis divisez-la en deux groupes aussi semblables que possible sur les dimensions qui prédisent la volatilité.

Appariez d’abord sur le type d’intention : les prompts de comparaison commerciale se comportent très différemment des prompts définitionnels. Appariez ensuite sur le taux d’inclusion de référence — un prompt où vous apparaissez 80 % du temps a bien moins de marge de progression qu’un prompt à 10 %, donc entasser tous vos mauvais élèves dans le groupe de traitement garantit un résultat flatteur qui ne veut rien dire. Appariez enfin sur la couverture moteur et sur la langue, si vous en suivez plusieurs.

La méthode pratique : classez vos prompts par taux d’inclusion de référence, formez des paires du haut vers le bas (le 1er avec le 2e, le 3e avec le 4e, et ainsi de suite), puis affectez au hasard un membre de chaque paire au traitement. Vous obtenez par construction deux groupes aux distributions quasi identiques.

Le groupe témoin compte davantage qu’on ne l’imagine, et l’envie de s’en passer est tenace — on a l’impression de laisser de la valeur sur la table. C’est faux. Sans lui, vous mesurez votre changement plus tout ce qui s’est passé d’autre pendant ces six semaines, sans pouvoir démêler l’un de l’autre.

Établir une référence avant de toucher à quoi que ce soit

La période de référence a une seule fonction : vous dire de combien vos métriques bougent quand il ne se passe rien. Ce chiffre fixe la barre que votre effet devra franchir.

Interrogez chaque prompt sur chaque moteur à cadence fixe — quotidienne dans l’idéal, trois fois par semaine au minimum acceptable — pendant au moins trois semaines. Enregistrez quatre choses à chaque exécution : êtes-vous cité, à quelle position dans la liste, avec quelle description, et quels concurrents apparaissent à vos côtés. Calculez ensuite l’écart-type hebdomadaire du taux d’inclusion pour chaque groupe. Si votre taux varie de six points d’une semaine à l’autre sans aucune intervention, une amélioration de cinq points après votre changement n’est pas un résultat. C’est un mardi.

C’est aussi là que la mesure GEO s’effondre discrètement, pour une raison très prosaïque. Interroger seize prompts sur six moteurs chaque jour représente environ cent requêtes quotidiennes, tous les jours, consignées de façon homogène, pendant deux mois. Fait à la main, cela tient une dizaine de jours.

Lire les résultats sans se raconter d’histoires

Votre chiffre principal est la différence des différences. Supposons que le groupe de traitement passe de 34 % à 47 % d’inclusion, soit 13 points de gain. Le groupe témoin passe de 31 % à 36 %, soit 5 points. Votre effet estimé est de 8 points, pas 13. Les 5 autres points sont arrivés à tout le monde.

Comparez ces 8 points à la volatilité mesurée pendant la référence. Règle de travail approximative : l’effet doit dépasser environ deux fois l’écart-type hebdomadaire du groupe de traitement avant d’être considéré comme réel. Avec de petits jeux de prompts, vous n’atteindrez pas la significativité statistique conventionnelle, et prétendre le contraire est pire que de l’assumer. Traitez le résultat comme une preuve directionnelle, et faites-le confirmer par un test répété sur un autre groupe de prompts.

Regardez aussi les moteurs séparément, pas seulement l’agrégat. Il est fréquent qu’un changement fasse nettement bouger Perplexity et Copilot sans presque toucher ChatGPT, parce que leurs comportements de récupération diffèrent. Une moyenne masque cela, alors que la ventilation par moteur est souvent l’enseignement le plus actionnable.

Enfin, vérifiez les sources citées, pas seulement le score. Si votre taux d’inclusion a monté et que les pages citées sont celles que vous avez modifiées, l’histoire causale tient. S’il a monté mais que les citations pointent ailleurs, autre chose en est la cause et vous avez appris moins que vous ne le croyez.

Un exemple concret : réécrire une page de comparaison

Une équipe SaaS B2B soupçonne sa page alternatives d’être trop vague pour que les modèles puissent en extraire quoi que ce soit. L’hypothèse : remplacer le texte courant par un tableau de comparaison explicite et honnête couvrant le prix, les intégrations et le cas d’usage idéal augmentera l’inclusion sur les prompts à intention comparative.

Ils sélectionnent 32 prompts de comparaison, les apparient par taux d’inclusion de référence, et en placent 16 en traitement et 16 en témoin. Trois semaines de référence donnent 29 % d’inclusion moyenne pour le traitement avec un écart-type hebdomadaire de 4 points, et 31 % pour le témoin avec une dispersion similaire. Ils réécrivent uniquement les pages qui servent les prompts de traitement, ne touchent à rien d’autre, et attendent cinq semaines.

Le traitement termine à 41 %, le témoin à 33 %. Différence des différences : 12 moins 2, soit un effet de 10 points face à une barre de volatilité d’environ 8. Directionnellement réel — et la vue par moteur montre que l’essentiel du gain vient de Perplexity et Gemini, ChatGPT restant à peu près stable. Le journal des citations confirme que les pages réécrites sont bien celles désormais reprises. Voilà un résultat qui mérite un déploiement, et un nouveau test sur les prompts témoins au trimestre suivant pour vérifier qu’il se reproduit.

Là où les tests GEO déraillent le plus souvent

Les modes d’échec se répètent d’une équipe à l’autre.

• Changer plusieurs choses à la fois. Une réécriture de page plus une campagne d’avis plus un fil Reddit produisent un chiffre inattribuable. Séquencez-les.
• Pas de groupe témoin. Chaque mise à jour de modèle et chaque mouvement concurrent est alors comptabilisé comme votre victoire — et un jour comme votre défaite.
• Conclure trop tôt. Quatre semaines après le changement est un minimum ; en deçà, vous mesurez surtout la latence de crawl.
• Des jeux de prompts trop petits. En dessous d’une dizaine de prompts par groupe, un seul prompt volatil peut faire basculer tout le résultat.
• Des groupes déséquilibrés. Placer vos prompts les moins performants en traitement fabrique un gain par simple régression vers la moyenne.
• Ne mesurer que l’inclusion. Un changement peut laisser l’inclusion stable tout en améliorant nettement la façon dont vous êtes décrit ou les concurrents cités à vos côtés — deux facteurs qui pèsent sur la conversion de la mention.
• Déplacer les objectifs. Décidez de ce qui compte comme succès avant de voir les données, et écrivez-le.

Rien de tout cela ne rendra le test GEO aussi propre qu’une expérimentation de landing page, et ce ne sera jamais le cas. Mais l’alternative — déployer des changements puis vérifier un prompt à la main quinze jours plus tard — n’est pas de la mesure. C’est une intuition accompagnée d’un tableur. Un test en paires appariées avec groupe témoin demande plus de travail en amont et vous donne quelque chose d’exploitable : une estimation défendable de la question de savoir si ce que vous avez fait mérite d’être refait.