- · 《传感技术学报》期刊栏[04/29]
- · 《传感技术学报》数据库[04/29]
- · 《传感技术学报》投稿方[04/29]
- · 传感技术学报版面费是多[04/29]
音乐演奏姿势捕捉技术及其应用(2)
作者:网站采编关键词:
摘要:(3)生理信号识别 生理信号识别最为典型的是表面肌电信号(EMG),目前表面肌电测量采集系统已有许多商业化的产品,这些系统大多为运动学研究而设
(3)生理信号识别
生理信号识别最为典型的是表面肌电信号(EMG),目前表面肌电测量采集系统已有许多商业化的产品,这些系统大多为运动学研究而设计,精度已达到较为理想的程度,常常为提高运动训练的精确度提供辅助。在音乐表演中,肌肉力量的提高以及学会某些肌肉的放松往往是需要花很长时间进行体会的,例如钢琴演奏时,初学者往往很难做到手臂和手腕关节及其相关肌肉的放松,弓弦类乐器学习过程中,上肢肌肉的控制也需要长时间的练习和体会。
2 音乐姿势捕捉技术的应用
以下主要从音乐辅助教学、音乐信息检索以及交互式声音装置设计三个领域来介绍姿势捕捉技术在音乐领域的应用。
2.1 音乐辅助教学
演奏姿势对乐器的演奏具有重要影响,琴童们每天长时间练琴,有很大一部分的精力实际是在建立肌肉的记忆,若能在学习的早期阶段,尽快采用技术手段介入到器乐学习者的姿势引导和实时反馈上,会对训练的效率有所提升。2017年的国际新型音乐表达接口会议(NIME: New Interface for Music Expression)上,有研究者为长笛加装多种传感装置,设计了乐器增强的功能,从嘴唇的放置位置、吹气气流的角度、唇孔形状等角度对初学者的演奏状况进行实时可视化,帮助初学者更快吹出稳定的声音[7]。近年来,麦吉尔大学对吉他、打击乐器、单簧管等乐器的演奏姿势进行研究分析,还运用三维重建技术将演奏者的演奏动作进行重建,使人能更加直观地重现演奏家的演奏姿势[8]。此外,辅助钢琴、小提琴以及指挥的系统也已经有相关研究,并正逐步商业化进入到大众的音乐生活中。
2.2 音乐信息检索
音乐信息检索(MIR: Music Information Retrieval)是指提取音乐中信息的技术,涉及音乐声学、信息学、音乐学、心理学等学科,是一个蓬勃发展中的交叉领域,其应用包含音乐推荐系统、多轨音频分离、自动音乐记谱、音乐自动分类、自动音乐生成等。
在前文描述的间接识别中,研究者首先邀请多位钢琴家在踏板以及键盘表面安装有多种传感器的“增强钢琴”上演奏,采集演奏姿势数据,之后通过机器学习的方法,让计算机自动把演奏时的姿势参数分析出来,这是一个“系铃”和“解铃”的过程。在这个过程中,音乐姿势捕捉的数据成为了进行该项音乐信息提取的前期工序。
另一项较为精细的演奏姿势研究是2017国际计算机音乐会议(ICMC:International Computer Music Conference)上的古琴左手姿势研究[9]。来自新加坡和新西兰的研究者研制了一副具有内含多类传感器的手套,他们对三位专业古琴演奏者的左手姿势数据进行了采集。该手套在除去大拇指的四个手指的指掌关节处,放置有微型的二轴加速度传感器及陀螺仪,其中加速度传感器记录手指左右、上下两轴空间移动,陀螺仪记录旋转角度,设计时考虑尽可能减少手套对古琴演奏者的影响,故采用非常微型的传感器,并通过无限传输模块传送给计算机进行处理(图1)。该研究的主要目的在于探讨这套姿势识别系统是否能够对古琴的左手演奏技法进行自动分类和识别。结果表明,该姿势识别系统识别五项左手技法的正确率大于85%。
2.3 交互式声音装置设计
在一位意大利人的作品中,创作者利用MyoSpat手环测量肌电数据,竖琴演奏者的左手肌电信号传输给映射工具,映射后的数据进入Pure Data传送给扬声器,同时将灯光控制信号输送给灯具控制颜色等参数,实现动作、音乐与灯光的相互关联[11]。
由达特茅斯大学Bregman工作室的樊健宇设计的“声太极”(Sonic Taiji),利用手机自带的陀螺仪、加速度传感器,将手机附在表演者的手上进行姿势采集,使演奏者在练习太极拳的过程中,还能获得听觉上的享受[12]。
利用运动姿势来控制声音的参数最早从国际上人机交互领域的讨论分离出来,成为一个单独的领域。在该类装置设计中,人体的运动姿势由动作捕捉系统捕捉,由输入设备输送给动作识别系统进行识别,再将各运动参数映射到不同的声学参数上(例如音高、音量、音色、混响时间等),最终通过发声系统发出声音[4]。
以ICMC的案例为例,古琴姿势识别系统设计者还创作了这样一部作品,一位古琴演奏者现场佩戴含有12个传感器的手套演奏古琴,传感器的参数通过无线传输方式传入计算机后,由Max/MSP进行数据处理,并导出给另一台控制声音机械装置的计算机。该计算机将传感器数据映射至多个机械动作,通过单片机控制舵机驱动多个声音装置发出声音。其中一个线性位移驱动机连接有不锈钢的“止音棒”,利用安装在舵机上的吉他拨片,配合止音棒,机械可以拨弦发出一定音高的声音。但由于没有设计共鸣腔,现场更多的是听见舵机带动拨片和止音棒的声音,作品构成了古琴与现代机械声相互交错的“古今之声”,颇有趣味。
文章来源:《传感技术学报》 网址: http://www.cgjsxb.cn/qikandaodu/2021/0504/357.html
上一篇:纵意笔墨挥洒林泉观马祥和的云南山水画
下一篇:解析车辆检测传感技术