
## 4.1 Principes Généraux Sur L'Évaluation

Plusieurs approches peuvent être envisagées. La première approche consiste à présenter à l'expert le texte balisé et de lui demander si ce balisage est correct. Le principal inconvénient de cette méthode, c'est que le système propose déjà une interprétation du guide à l'expert : cela peut biaiser son jugement.

La seconde approche consiste à confronter l'annotation obtenue par l'outil à celle obtenue par l'expert qui opère manuellement. Par cette approche, l'expert peut formuler sa propre interprétation du guide, cependant ce travail est très fastidieux.

Les GBPC sont souvent complexes et d'interprétation difficile, le recours à plusieurs experts risque d'aboutir a plusieurs interprétations différentes. Il est possible de mesurer le niveau d'accord entre les experts par le coefficient du Kappa mais cela n'indique pas quelle est l'interprétation juste et si l'outil s'en approche. Pour s'affranchir des variations dans l'interprétation des guides, il est possible de chercher le consensus en utilisant la méthode Delphi : les désaccords entre experts sont relevés, et on redemande au experts de réinterpréter le guide à la lumière des interprétations des autres experts, et ceci jusqu'à ce que l'ensemble des experts se mettent d'accord pour produire une référence (*gold standard*).

La confrontation des résultats de l'outil à une référence (*gold standard*) peut s'exprimer à l'aide des indicateurs de rappel (ratio d'information correcte extraite sur l'information disponible) et de précision (ratio de l'information correcte sur la totalité de l'information extraite) . Le système doit privilégier une mesure de rappel élevé (et idéalement égale à 100%) et une mesure de précision réduite car il est plus facile d'enlever de l'information non pertinente que de réinterpréter la totalité d'un guide en raison d'un défaut de détection d'information pertinente.

## 4.2 Mise En Oeuvre De L'Évaluation De L'Outil Gemframe

Nous présentons dans cette partie quelques éléments d'évaluation du travail effectué sur les guides de bonnes pratiques.

## 4.2.1 Élaboration De La Référence Manuelle

Un certain nombre de GBPC ont été annotés manuellement pour servir de base à l'étude et pour servir lors de l'évaluation. L'évaluation est faite sur des GBPC n'ayant pas servi lors de la mise au point du système.

Globalement, chaque annotateur doit dériver à partir d'un GBPC un arbre XML
conforme à la notation GEM. L'accord entre annotateurs est ensuite calculé en comparant le nombre de recommandations reliées à l'action ou à l'ensemble d'actions dont elle dépend.

L'accord entre annotateurs, calculé à partir d'un ensemble de 162 nœuds, est de 0,96 (157 segments correctement raccordés sur 162). Ces résultats montrent la faisabilité de la tâche et une variation dans l'annotation réduite, au moins sur certains GBPC. Des expériences faites en comparant une annotation non-experte avec une annotation experte note seulement des différences minimes. Ceci permet de dégager deux conséquences : 1) l'annotation ne repose que légèrement sur des connaissances