

![0_image_0.png](0_image_0.png)

## 4.2. Description Informatique Du Système Homme-Machine

L'implémentation informatique du système homme-machine est fondée sur un réseau de neurones d'analyse de la voix en entrée et un système multi-agents générateur d'images en sortie. Le système informatique multimédia temps réel mis en œuvre est constitué en entrée d'un réseau de neurones destiné à reconnaître des états émotionnels dans la voix de la comédienne et en sortie d'un système multi-agents générateur d'images projetées sur l'écran. L'ensemble a été codé en utilisant la plateforme de développement graphique temps réel Max/MSP/Jitter.

Le réseau de neurones a été entraîné en mode supervisé pendant plusieurs mois par rapport à une liste d'états émotionnels que s'imposait la comédienne durant la lecture du texte complet. La voix en entrée est traitée phrase par phrase, chacune donnant lieu au calcul d'un vecteur de douze composantes : quatre d'entre elles concernent la prononciation des voyelles (formants), quatre d'entre elles représentent le caractère bruité de la voix et donc la prononciation des consonnes; les quatre derniers paramètres s'attachent à la prosodie (courbe d'amplitude de la voix dans la phrase). Pour chaque vecteur présenté en entrée, le réseau de neurones fournit un état émotionnel « reconnu ».

Le système multi-agents permet la génération temps réel d'images projetées en fond de scène. Les agents sont comme des « colleurs d'affiches » dynamiques qui construiraient ensemble des images toujours renouvelées.

− Chaque agent possède un petit modèle psychologique de sensibilité (positive ou négative), qui réagit selon les séquences de texte, aux états émotionnels du réseau de neurones. Il en résulte, en fonction de ce qu'indique le réseau de neurones, et en fonction des poids de sensibilité, une humeur qui conditionne leur « volonté » d'accomplir les tâches à mener.

− Les agents coopèrent à un but qui est l'optimisation d'une fonction d'utilité de l'image (une différente par séquence de texte).