Analyse de couverture de retrieval

Définition

L’analyse de couverture de retrieval est une méthode d’évaluation qui mesure la capacité d’un moteur de recherche ou système RAG à récupérer les bonnes sources pour un périmètre défini (sujets, juridictions, types de documents). Elle répond à : “a-t-on les sources et sait-on les retrouver ?”.

Pourquoi c’est important

• Éviter les angles morts : un bon ranking ne compense pas une absence d’indexation.
• Meilleure QA : révèle sources manquantes, ingestion défaillante, ou compréhension de requête faible.
• Priorisation : indique où investir pour un impact maximal.
• Gouvernance : apporte des éléments de preuve sur l’adéquation au cas d’usage.

Comment ça fonctionne

On mesure souvent la couverture via une liste de sources requises et un set de requêtes représentatives :

Définir périmètre -> construire requêtes -> récupérer -> juger "sources requises trouvées ?" -> corriger -> re-tester

Livrables typiques : % de couverture par sujet/juridiction, liste de sources manquantes ou difficiles à trouver, et patterns d’échec (métadonnées, langue, accès).

Exemple pratique

Vous définissez 50 questions représentatives sur un sujet fiscal. L’analyse montre que les circulaires sont indexées, mais que certaines versions consolidées manquent, ce qui fait chuter la récupération. La solution est ingestion/indexation, pas des changements de prompt.

Questions fréquentes

Q: Est-ce juste précision/rappel ?

R: On peut s’en servir, mais la couverture est souvent orientée “sources” : “retrouve-t-on les documents autoritatifs indispensables ?”

Q: À quelle fréquence le faire ?

R: Après changements d’ingestion, après mises à jour légales majeures, et régulièrement pour les domaines à risque.

Termes associés

• Search Analytics - suivre résultats et échecs
• Ajustement de la pertinence - optimiser le ranking une fois la couverture assurée
• Indexing Strategy - garantir l’indexation des sources nécessaires
• Content Discoverability - améliorer la trouvabilité via structure/métadonnées
• Full-Text Search - couche de base à évaluer

Références

Manning, Raghavan & Schütze (2008), Introduction to Information Retrieval.

References

Manning, Raghavan & Schütze (2008), Introduction to Information Retrieval.