A 3D Camera User Interface for Wrist Angle Monitoring in Piano Performances

Abstract

Injuries are common over a performing musician’s career and wrist injuries are the most frequent site of pain for pianists. Although general recommendations insist on keeping wrists in a “neutral” position to avoid injury, this is rarely done in practice. Recent advances in motion capture technology may aid in raising students’ awareness of the propensity to use wrist positions outside of the recommended “neutral.” These technologies may be used to measure precise wrist positions in piano playing in order to set specific thresholds for avoiding injury. This paper discusses various advantages and limitations of motion capture technologies, including data visualization and usage within the music instrument pedagogy framework in order to define a set of requirements for an accessible motion-tracking system. A prototype of a dedicated image-processing-based system with a graphical user interface that meets these requirements is described. This system uses passive coloured markers and a standard 3D camera, encouraging use outside the traditional laboratory environment. Simple camera calibration options and basic hand tracking from aerial view images allow monitoring of wrist flexion/extension over short video recordings. Measurements are compared to flexion/extension thresholds recommended for typists to prevent carpal tunnel pressure, and moments of approaching or exceeding these thresholds are flagged to the user both in real time and in post-performance. Potential applications include monitoring the practice of short technical passages without restriction of instrument or location.Les interprètes doivent gérer des blessures tout au long de leur carrière, et chez les pianistes, ce sont surtout les blessures aux poignets qui les font particulièrement souffrir. Alors que les recommandations générales insistent sur la position « neutre » du poignet pour éviter les blessures, elles sont rarement appliquées dans la réalité. De récentes avancées technologiques dans le domaine de la capture de mouvements pourraient aider les étudiants à être plus conscients de leur propension à dépasser les limites de la position « neutre » recommandée. Ces technologies pourraient être utilisées pour mesurer les positions précises du poignet durant le jeu pianistique afin de déterminer des ensembles de seuils spécifiques qui permettront d’éviter les blessures. Cet article présente les avantages et les inconvénients des technologies de la capture de mouvement, incluant la visualisation des données et leur utilisation dans le cadre de la pédagogie instrumentale, afin d’établir une liste de critères auxquels répondrait un système d’analyse des mouvements facile à utiliser. L’article présente un prototype de système de traitement des images spécialisé accompagné d’une interface graphique pour les utilisateurs qui répond à cette liste de critères. Le système recourt à des marqueurs de couleur passifs et à une caméra 3D standard afin d’encourager une utilisation en dehors des environnements de laboratoire traditionnels. Des options de calibrage simples pour la caméra, ainsi qu’une localisation de base des mains grâce à des images aériennes permettent d’observer les flexions et extensions des poignets dans de courts enregistrements vidéo. Les données sont comparées à des seuils de flexion/extension proposés pour les dactylos afin de prévenir les problèmes de tunnel carpien, et les utilisateurs sont avertis lorsqu’ils approchent ou dépassent ces seuils à la fois pendant et après l’enregistrement. Les applications potentielles du système incluent la surveillance durant la répétition de courts passages techniques, sans restriction d’instrument et de lieu.