La sonification de l’écriture

Présentation de Jean-Luc VELAY et Jérémy DANNA, chercheurs au CNRS
(Laboratoire de neurosciences cognitives) : La sonification de l’écriture.

Leur travail de recherche porte sur l’écriture, notamment le mouvement. La
présentation faite lors du séminaire GCAF du 20 mars 2019 portait essentiellement sur la sonification de l’écriture dans le cadre de la rééducation d’élèves dysgraphiques.

L’écriture est un processus qui permet de retranscrire un langage, en composant le texte (structuration des idées et de la logique), des phrases (grammaire et syntaxe), des mots (lexiques et orthographe), et en traçant des lettres (mouvement), à l’aide d’un scripteur.
Jean-Luc Velay et Jérémy Danna s’intéressent particulièrement à la plus petite unité, et donc à l’écriture manuscrite, au résultat du mouvement effectué. Ils font notamment la distinction entre produit d’écriture et processus. Le produit est la trace laissée sur le support, et le processus est le mouvement qui génère la trace.
Pour des élèves dysgraphiques, le processus d’écriture est beaucoup plus long, le processus attentionnel étant alloué au contrôle.

Jérémy Danna et Jean-Luc Velay se sont donc posé la question de comment aider la rééducation, et comment faciliter l’écriture pour ces enfants ayant un trouble lié à la graphie. Les questionnements se sont tournés vers l’assistance du geste avec un robot, trop coûteux, puis vers l’utilisation des sons de l’écriture.

L’objectif fixé a donc été de fournir un retour auditif qui informe sur le mouvement, et donc de sonifier l’écriture. En effet, le son donne davantage d’informations spatio- temporelles, et est plus dynamique que la vision. Cela permet d’exploiter un autre canal que ceux naturellement utilisés. Il s’agit alors d’une intégration multisensorielle avec la vision et la proprioception, qui est également source d’émotion et de motivation. L’hypothèse de départ était donc que cela permettrait de contrôler et de
corriger l’écriture en temps réel.

La sonification consiste à transformer des mouvements du stylo en sons. Les notions de fluidité ou de saccade sont associées à des sons mélodieux ou non mélodieux, afin de renseigner sur la qualité du mouvement. 
Par la suite, les psychomotriciens et les enfants ont verbalisé la pénibilité des sons à répétition, ce qui a fait évoluer la stratégie de recherche vers une sonification musicale de l’écriture. L’aspect concernant les émotions véhiculées par les différents choix de musique a d’abord été sous-estimé, et il a amené ensuite la possibilité pour l’enfant de choisir la musique, permettant de rendre l’exercice plus ludique pour eux.

Les résultats de leur recherche ont démontré qu’il semble très intéressant d’associer la musique au geste graphique pour des élèves dysgraphiques, pour apprendre un mouvement correct, c’est à dire fluide, rapide et précis, en laissant une trace correcte, et donc lisible.

Les limites de leur recherche se trouvent dans le fait que les enfants rééduqués avec la sonification de l’écriture doivent ensuite pouvoir écrire sans le son, sans association forcée qui pourrait conduire à une sorte de synesthésie.

Lola Papon

Article Jérémy Danna et Jean-Luc Velay

Emeline Roy

Attachée temporaire d'enseignement et de recherche à Aix-Marseille Université, UR ADEF, programme GCAF.

More Posts - Website

Follow Me:
LinkedIn


Emeline Roy

Attachée temporaire d'enseignement et de recherche à Aix-Marseille Université, UR ADEF, programme GCAF.

Vous aimerez aussi...

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search