音乐演奏姿势捕捉技术及其应用

在音乐演奏中，演奏者的表演姿势对于音乐情感的表达具有重要的作用。关于音乐与姿势（gesture）的关系，自20世纪90年代以来有着较为集中和广泛的讨论，其中较为著名的学者为加拿大麦吉尔大学的Marcelo 教授，他曾在国际范围内多次领导和组织了与音乐姿势相关的会议和讨论，并拥有诸多研究成果[1-4]。

现代国际上关于音乐与姿势的研究主要分为两类，一类研究着眼于演奏姿势与音乐表达之间的关联，其中包含演奏姿势与声学特征的关系、演奏者个性化的演奏习惯、以及某种风格或作品演奏中具有共性的姿势等，该类研究主要运用在音乐信息检索领域以及器乐的可视化教学中；另一类研究则将姿势数据转化为交互式音乐表演或新型乐器的输入参数，通过设计姿势数据与声音参数的映射关系，进行由姿势控制声音的交互设计探索。对音乐演奏姿势进行采集和分析，不仅可以为音乐表演的研究和教学提供便利，还可以为新型乐器的设计以及音乐信息学的研究提供更为丰富、立体的视角。本文着重从音乐演奏姿势的捕获技术和应用两大方面分别进行介绍。

1 音乐演奏姿势的捕捉技术

音乐演奏过程中，演奏者通过不断地控制和调整自己的肌肉紧张程度以及各个关节的空间位置及运动速度来使乐器（或嗓音）发出声音，传达音乐的情感或意图。在这一过程中，音乐演奏的主体是人，音乐演奏姿势捕捉技术也主要来自于人机交互领域对于人体动作的捕捉技术。

一般而言，要捕捉人体的运动姿势，必须在一个固定的空间内测量身体每一个部分线性及角度的运动情况，通过空间和角度信息，便可以得到各个相邻关节的相对角度、速度以及加速度。在空间位置、角度、速度和加速度这几种信息中，并非所有的信息都一定需要直接测量得到，通常只需要在位置、速度、加速度中直接获取其中一个信息，其他信息由运动变量通过数学方法计算出来。

在一些运动捕捉的应用中，人的整个身体被看作一个质点，例如在小组体育运动中，人们倾向于忽略关节之间的相对运动，更加关注宏观尺度的运动信息。而在音乐演奏姿势中，人们关注的信息往往是较为微观的运动，正是这些微小的动作差别，导致了演奏出的音乐“味道”的差异，将专业演奏家和普通演奏者区分开来。

在音乐表演中，虽然绝大多数表演形式都涉及到共同的身体部位，如手指、上肢、腰部，带踏板及打击类乐器可能还涉及下肢运动，但它们对演奏的重要程度可能并不相同。例如，在弓弦乐器中，持弓的手腕关节、肘关节、肩关节前后的身体部位以及左手掌指部分运动可能对于音乐情感的表达具有更为重要的作用；而在吹管乐器中，手腕关节的运动复杂程度可能不及弓弦类乐器，对音乐表达的影响则没有那么显著。在另一些情况下，一些肢体运动是演奏家的个人喜好，但它们对于音乐本身的表达可能并不起特殊的作用，可以称作“非音乐相关姿势”，例如一些爵士钢琴演奏家有一只脚打节奏的习惯，再如摇滚吉他手有时会为了现场气氛增加一些较为夸张的表演性动作，这些动作如果去掉或者幅度减小，并不影响音乐在声音上的效果。

按照演奏姿势被识别的方式，音乐表演姿势的捕捉技术主要分为直接识别、间接识别以及生理信号识别三类[4]。

（1）直接识别

直接识别采用压力、线性位移、角度位移、加速度传感器以及摄像头加机器视觉的方法进行数据处理，直接获得关于身体部位的运动信息。直接识别相比于间接识别获取数据更加简单，且这些变量是相互独立的，不会互相干扰，故可获得独立的数据流，但缺点也正是由于其独立性，可能会低估各种变量之间的相互依赖关系。此外，麦吉尔大学的Anne-Marie Burns博士采用机器视觉的方法，利用摄像头进行图像特征的提取，进行吉他左手演奏姿势的研究[5]。

（2）间接识别

间接识别，是指通过提取声音信号中的结构性信息来反推姿势数据，利用信号处理技术，分析声音的基频、短时能量、频谱包络、振幅、调制深度等，得出演奏者的姿势信息，此时，姿势识别系统的传感器就是传声器。由于音频信号的复杂性，通常需要使用多种技术将由演奏动作引起的效果与其他因素引起的效果区分开来，如室内声学特性或乐器自身特性。对于一些姿势参数，往往首先用加装传感器的测量系统对某种姿势所对应的声学特征进行研究分析，再采用结构性的分析方法或者机器学习的方法，利用计算机进行处理判断姿势运动的情况。例如，在伦敦大学玛丽女王学院数字音乐中心的梁贝茨所做的研究中，研究者使用了在键盘和踏板处分别安装有触摸式传感器和位移传感器的特制钢琴，声音信息和踏板位移信息通过高质量、超短时响应的音频计算平台Bela将传感信号传入计算机。通过研究踏板与音频声学特性的关系，实现对于一段给定音频，系统可较为准确地判断出何处踩了踏板以及其踩下的深度[6]。

文章来源：《传感技术学报》 网址: http://www.cgjsxb.cn/qikandaodu/2021/0504/357.html