La sonification de l’écriture

Présentation de Jean-Luc VELAY et Jérémy DANNA, chercheurs au CNRS
(Laboratoire de neurosciences cognitives) : La sonification de l’écriture.

Leur travail de recherche porte sur l’écriture, notamment le mouvement. La
présentation faite lors du séminaire GCAF du 20 mars 2019 portait essentiellement sur la sonification de l’écriture dans le cadre de la rééducation d’élèves dysgraphiques.

L’écriture est un processus qui permet de retranscrire un langage, en composant le texte (structuration des idées et de la logique), des phrases (grammaire et syntaxe), des mots (lexiques et orthographe), et en traçant des lettres (mouvement), à l’aide d’un scripteur.
Jean-Luc Velay et Jérémy Danna s’intéressent particulièrement à la plus petite unité, et donc à l’écriture manuscrite, au résultat du mouvement effectué. Ils font notamment la distinction entre produit d’écriture et processus. Le produit est la trace laissée sur le support, et le processus est le mouvement qui génère la trace.
Pour des élèves dysgraphiques, le processus d’écriture est beaucoup plus long, le processus attentionnel étant alloué au contrôle.

Jérémy Danna et Jean-Luc Velay se sont donc posé la question de comment aider la rééducation, et comment faciliter l’écriture pour ces enfants ayant un trouble lié à la graphie. Les questionnements se sont tournés vers l’assistance du geste avec un robot, trop coûteux, puis vers l’utilisation des sons de l’écriture.

L’objectif fixé a donc été de fournir un retour auditif qui informe sur le mouvement, et donc de sonifier l’écriture. En effet, le son donne davantage d’informations spatio- temporelles, et est plus dynamique que la vision. Cela permet d’exploiter un autre canal que ceux naturellement utilisés. Il s’agit alors d’une intégration multisensorielle avec la vision et la proprioception, qui est également source d’émotion et de motivation. L’hypothèse de départ était donc que cela permettrait de contrôler et de
corriger l’écriture en temps réel.

La sonification consiste à transformer des mouvements du stylo en sons. Les notions de fluidité ou de saccade sont associées à des sons mélodieux ou non mélodieux, afin de renseigner sur la qualité du mouvement. 
Par la suite, les psychomotriciens et les enfants ont verbalisé la pénibilité des sons à répétition, ce qui a fait évoluer la stratégie de recherche vers une sonification musicale de l’écriture. L’aspect concernant les émotions véhiculées par les différents choix de musique a d’abord été sous-estimé, et il a amené ensuite la possibilité pour l’enfant de choisir la musique, permettant de rendre l’exercice plus ludique pour eux.

Les résultats de leur recherche ont démontré qu’il semble très intéressant d’associer la musique au geste graphique pour des élèves dysgraphiques, pour apprendre un mouvement correct, c’est à dire fluide, rapide et précis, en laissant une trace correcte, et donc lisible.

Les limites de leur recherche se trouvent dans le fait que les enfants rééduqués avec la sonification de l’écriture doivent ensuite pouvoir écrire sans le son, sans association forcée qui pourrait conduire à une sorte de synesthésie.

Lola Papon

Article Jérémy Danna et Jean-Luc Velay