脑机音乐接口，高效检测用户的情绪状态

Posted 2020-11-25 rosevorchid

目录

本分享为脑机学习者Rose整理发表于公众号：脑机接口社区(微信号：Brain_Computer).QQ交流群：903290195

英国雷丁大学和普利茅斯大学的研究团队开发和评估了一个情感脑-机音乐接口(aBCMI)，用来调节用户的情感状态。构造一个aBCMI来检测用户的当前情感状态并尝试调制它为了实现特定的目标(例如,用户平静或快乐)通过播放音乐根据一个特定的情感目标生成算法作曲系统和基于案例的推理系统。

脑机音乐接口(BCMI)是一种特定类型的BCI，其目的是让用户与音乐进行交互或控制音乐的某些属性(Miranda2006)。例如，将BCMI用于主动控制娱乐系统，并为残疾人士提供创造性的渠道，让他们能够主动控制音乐(Miranda等，2011)。

音乐是调节情绪的一种强有力的方法，可以使听者感受到从欢乐到忧郁的多种情绪(Juslin和Sloboda 2001)。音乐疗法能开发音乐匹配或影响听众情绪的能力。音乐疗法是一种心理治疗技术，旨在通过音乐与治疗师的互动，促进沟通并改善患者的情绪状态。例如，患者可以与治疗师在乐器上进行独奏或二重奏。音乐也可以用来帮助个人调节或学习更有益地调节他们的情绪(Bhattacharya和Lee 2012, McDermott et al 2013)。

类似于脑机音乐接口(aBCMI)这样的系统可通过促进对音乐缺乏信心或能力不足以从事传统音乐创作活动(作为治疗过程一部分)的患者的治疗有用，使他们能够在治疗过程中从事传统的音乐创作活动(如演奏或即兴创作新音乐)。此外，通过产生与患者的情绪状态相匹配的音乐，aBCMI可能用作患者向治疗师表达情绪状态的表达工具。

英国雷丁大学和普利茅斯大学的科研人员试图探索是否可以构建能够检测和调节用户当前情感状态的aBCMI系统。想要实现这个系统，则会遇到如下潜在的问题：
（1）我们可以在在线aBCMI使用过程中检测到个人当前的情感状态吗？
（2）我们能否确定一种基于案例的推理方法，以用于确定调节个人情感状态的方法？
（3）由aBCMI系统调制的合成音乐能否动态地影响aBCMI用户的情感状态，以实现一组目标（例如使用户更快乐）？

研究人员在论文中首先描述了提出的系统。然后继续描述用于评估其调节用户情感状态的功效的实验。之后，提出结果以证明系统的性能并讨论其影响和意义。科研人员调查提出的aBCMI系统设计是否能够调节用户的情感状态。

研究人员设计的aBCMI系统主要包括如下5个部分：

(1) 用户模块；

(2) 用户生理信号采集模块(包括脑电图(EEG)，心电图(ECG)以及呼吸频率等)；

(3) 情感状态检测系统，识别用户当前的情感状态；

(4) 基于案例的推理系统，以确定如何将用户从他们当前的情感状态转移到新的目标情感状态；

(5) 音乐生成器，用于向用户播放音乐，以便通过基于案例的推理系统识别出的最合适的情感轨迹，将用户移至目标情感状态。

论文中根据检测方法成功对所报告的情感状态轨迹的影响，来测量情感状态检测对aBCMI系统总体性能的影响。情感状态检测方法正确的试验中，在“平静”目标期间报告的平均情感状态轨迹的示例。

对于相同的“平静”目标，这些可能与情感状态检测不正确的试验的平均情感状态轨迹相比较，如下图所示。

研究人员在论文中写道，当情感状态检测正确时，唤醒的轨迹呈现出更陡峭的梯度变化。具体而言，当aBCMI能够正确检测用户的初始情感状态时，它可以更成功地减少用户的唤醒。

在该项研究中，研究人员开发和测试的aBCMI系统能够调节个人的情感状态。 通过使用生理测量，可以客观地估计一个人的情感状态。 这与基于案例的推理系统相结合，以识别和利用最佳方法来调节情感状态。最后，使用情感驱动的算法作曲系统，使aBCMI产生理论上无限数量的情感唤起音乐。

作者在论文中写道，完整的aBCMI系统为监视和调节用户的情绪提供了独特的工具。 未来的工作将寻求探索将aBCMI系统用于患有情绪问题的患者以及其他患者的可能性，也有人建议其他患者例如脑损伤患者也有可能从中受益(Bradt等，2010) 。

参考文献
Alpaydin E 2004 Introduction to MachineLearning (Cambridge, MA: MIT Press)
Atkinson J and Campos D 2016 ImprovingBCI-based emotion recognition by combining EEG feature selection and kernel classifiersExpert Syst. Appl. 47 35–41
Bajaj V and Pachori R 2014 Detection ofhuman emotions using features based on the mulitwavelet transform of EEGsignals Brain–Computer Interfaces: Current Trends and Application vol 1(Berlin: Springer) ch 8, p 416
Bhattacharya J and Lee E-J 2012 Modulationof EEG theta band signal complexity by music therapy Int. J. Bifurcation Chaos 269
Bradt J, Magee W L, Dileo C, Wheeler B Land McGilloway E 2010 Music therapy for acquired brain injury The Cochrane Databaseof Systematic Reviews] (7) CD006787 http://www.ncbi.nlm.nih.gov/pubmed/20614449
Brodersen K H, Ong C S, Stephan K E andBuhmann J M 2010 The balanced accuracy and its posterior distribution 2010 20thInt. Conf. on Pattern Recognition (Piscataway, NJ: IEEE) pp 3121–4
Chella F, Pizzella V, Zappasodi F andMarzetti L 2016 Impact of the reference choice on scalp EEG connectivityestimation J. Neural Eng. 13 1–21
Cowie R, Douglas-Cowie E, Savvidou S,McMahon E, Sawey M and Schr?der M 2000 ‘FEELTRACE’: an instrument for recordingperceived emotion in real time Proc. ISCA Workshop on Speech and Emotion pp19–24
DalyI, Billinger M, Laparra-Hernández J, Aloise F, García M L, Faller J, Scherer Rand Müller-Putz G 2013a On the control of brain–computer interfaces by userswith cerebral palsy Clin. Neurophys.

参考
脑机音乐接口，高效检测用户的情绪状态

本文章由脑机学习者Rose笔记分享,QQ交流群：903290195
更多分享，请关注公众号