脑电情感识别近年文章检索200704

Posted 2020-12-14 rinroll

web of science

1.主题“emotion recognition” “2020” 引用率前三

a.A multi-sensor data fusion enabled ensemble approach for medical data from body sensor networks   Q1

Wireless Body Sensor Network (BSNs) ， a novel kernel random forest ， fog computing， data fusion，electrocardiogram (ECG)

https://www.sciencedirect.com/science/article/pii/S1566253519302118?via%3Dihub

工作内容：融合多个传感器的数据预测心脏病

最近的研究表明，采用核方法可以提高性能更好的机器学习算法（如随机森林）的精度。研究[16]表明，在不费吹灰之力的情况下，可以将随机森林转化为核随机森林，其总体预测精度优于随机森林。集成的计算环境是一个雾计算环境[17]，[18]，其中单个预测器托管在雾节点(fog nod)上，结果被聚合以获得最终输出[19]

john等人[38]提出了面向特征的情感识别模型。该模型采用最小冗余最大相关选择方法对基于核的分类器进行改进。该模型的主要贡献是将统计特征选择与分类任务相结合。最近，哈桑等人[39]介绍了基于深度信念网络（deep belief）的人类情感识别模型。其思想是利用信念网络从数据中提取特征，该网络可以与一些统计特征相融合。将提取的特征输入到一个精细的高斯支持向量机中，对人类情绪进行分类。后来，Gravina等人[40]介绍了一个集成系统，该系统包含人体磨损传感器和压力系统，用于检测座椅内活动。为了达到识别的目的，提取了频域和时域特征，得到了令人满意的结果。

Kiranyaz等人[52]应用一维卷积神经网络（CNN）对心电信号进行分类，实现实时心电监护。穆斯塔基姆等人。[53]介绍了心脏病分类的预测模型。为了选择最佳的特征，他们考虑了一个包装器算法，并应用了许多机器学习算法。

 

 

所有传感器总共收集了11个属性，包括一天中采取的步骤数、燃烧的热量、胆固醇水平、睡眠时间、睡眠质量、卡路里摄入量等。预测任务是一个二元分类任务，根据记录的活动预测一个人是否患有心脏病。

在本节中，我们将描述传感器数据融合和生物传感器节点的行为，如图2所示。我们在人体上部署了多个生物传感器节点。我们假设每个传感器记录一个生理信号，称为特征。BSN以周期性的方式收集测量值，然后将数据传输给协调器进行数据融合。许多智能设备（包括医疗设备或移动电话）可作为协调员。

time domain

frequency domain :

(1) Energy: The sum of the squared FFT magnitude is used to compute the energy feature.

(2) Entropy: The entropy discriminates among the activities having same values for the energy feature. The entropy is computed as normalised entropy of FFT components.

(3) Binned Distribution: The binned distribution is computed by estimating the histogram of FFT. This is achieved by identifying the range of values and by calculating the fraction of values within a specific range.

 In this work, we employ Correlation-based Feature Selection (CFS) [55]. 

result:

1。为了提供分析模型，我们使用基于相关性的特征选择方法来评估特征的重要性

2.我们研究了RF和KeRF这两种分类器在不同树深下增加估计量的准确性。As the data is labelled, the presence or absence of disease was known apriori, for the evaluation purpose.

P：对于准确度，分别独立考察了RF和KeRF在不同树深下，和同一种数深下的对比，最后给了ROC曲线)

3.时间分析：RF和KeRF各自的时间曲线

 

 

 4.Scalability analysis 可扩展性分析

 

由于计算环境是一个雾计算环境，我们还研究了系统在不同树深下增加节点数的可扩展性。执行时间随着节点数的增加而减少，在最大树深度（即15）下执行时间最高。结果与训练时间的结果一致，可以看出，对于增加树的深度和增加执行节点的数目，系统具有良好的扩展性。

 

b.The Reliability and Validity of the Inventory of Callous Unemotional Traits: A Meta-Analytic Review

 The Inventory of Callous Unemotional Traits (ICU) 冷酷非情感特质量表（ICU）是唯一一个专门测量CU特质的量表，它对有限亲社会情绪说明符的发展有影响。

(关联不大)

 

c.A probability and integrated learning based classification algorithm for high-level human emotionrecognition problems   Q1

基于视频的情感计算，多模态特征，分类器融合，BP分类器

https://www.sciencedirect.com/science/article/pii/S0263224119309157?via%3Dihub

本文提出了一种基于概率和集成学习（PIL）的分类算法，用于解决高层次的人类情感识别问题。首先，通过模拟人类的思维方式和结构，提出了一种新的集成学习拓扑结构，为分析复杂的人类情绪提供了必要的物质基础。其次，针对情感不确定性带来的情感分类模糊性，提出了基于PIL的分类算法，通过计算分类概率的置信区间来实现。本文还提出了基于分类概率的三种新的分析方法，包括情感敏感度、情感决策偏好和情感管。我们的研究期望该方法可以应用于视频的情感计算，对以自然、人性化的方式为机器人建立人工情感起到一定的借鉴作用。

In this paper, a probability and integrated learning (PIL) based classification algorithm is proposed for solving high-level human emotion recognition problems. Firstly, by simulating human thinking mode and construction, a novel topology of integrated learning is proposed to obtain the essential material basis for analyzing the complex human emotions. Secondly, classification algorithm based on PIL is presented to adapt the emotion classification fuzziness caused by the emotional uncertainty, which is realized by calculating the confidence interval of the classification probability. This paper also presented three new analyses methods based on classification probability including the emotional sensitivity, emotional decision preference and emotional tube. Our study expects that the proposed method could be used in the affective computing for video, and may play a reference role in artificial emotion established for robot with a natural and humanized way. 

本文利用不确定性人工智能的机理，分析了音乐视频中的情感识别问题，这是一部融合了歌曲和图像的短片，是为宣传或艺术目的而制作的[29]。音乐视频是人类情感的恰当研究对象[17]，因为它的多模态特征输入，包括视觉、听觉和抒情特征，每一种都能产生不同的情感强度。

 

根据音频的来源，研究者通常从三种音频信号中提取音频特征：语音、音乐和环境音频。

受电影创作原理的启发，节奏特征、亮度特征和颜色特征通常被用来对视频情感进行分类。控制镜头、运动和摄像机距离是控制视频节奏的重要环节。因此，与摄像机的距离、运动和摄像机相关的特征常被视为节奏特征

直接视频情感分类方法是通过视觉或听觉等物理特征将视频内容直接映射到情感描述者，是视频情感分类中常用的方法。许多模式识别和机器学习方法被用来解决直接视频情感分类问题：支持向量机（SVM）[38]、偏差分类器[39]、神经网络[37]、K邻居（KNN）[40]、高斯混合模型（GMM）[41]和HMM（隐马尔可夫模式）[42]。近年来，深度学习因其强大的学习能力而兴起。因此，许多研究者应用强大的神经网络和深度学习来提高分类精度[43]、[44]、[45]、[46]。

间接视频情感分类的概念最初由Pantic和Vinciarelli[47]于2009年提出。与直接视频情感分类方法不同，间接视频情感分类是以人为中心的。研究的对象是观看者对视频情感内容的自发反应。

存在的问题：

例如，一句简单的“我喜欢你”就能让一些人感到快乐。相反，如果别人偶尔想起他们不愉快的回忆，他们可能会感到悲伤。因此，对于视频情感分类来说，由于个体差异和环境因素导致对视频情感范畴理解的差异，还有很长的路要走。这是因为“情绪”一词属于心理学范畴[48]，不同的人在不同的时间感受到的情感强度是不同的。可以说，以往的传统分类方法以准确的分类结果，显得不合理，尤其是在不确定性和复杂的情况下。

身体特征的底层，如视觉特征、听觉特征，不能很好地映射到情绪状态的顶层。不可否认的是，由于情感的复杂性，通过支持向量机等强大的分类器进行过拟合可能会导致预测效果不佳。这与海森堡1927年提出的不确定性原理相似。其理论是不可能同时获得粒子的精确位置信息和速度信息。换句话说，人们不可能通过拟合测试者的情绪来准确预测未知人群的情绪。此外，不可否认的是，生理信号特征作为媒介，将情绪特征与生理特征映射在一起是有效的。文献[49]、[50]、[51]一致认为，生理活动是情绪体验的重要组成部分，面部表情是情感交流的主要渠道。然而，在训练和测试过程中，无论何时都需要先进的测试仪器支持，在底部和顶部之间建立一个中间层，尚未完全解决绘图问题。

总之，情感分类的人工标注任务存在不确定性问题，这使得情感分类问题不能只考虑分类的准确性。因此，PIL是为了适应这些复杂的情感分类问题而提出的。

情感在本质上是物质的。它是人脑中每个相关神经元电信号的整体反映。情绪的产生往往需要各种神经元的协同作用。它需要视觉神经元、听觉神经元和大脑中一些由某些经验产生的神经元。然而，人们在研究情绪分类或情绪计算时，往往忽视了三种神经元结合的重要性。从深层次来看，我们认为仅仅用听觉或视觉特征来思考是片面的。将三种神经元的功能结合起来，互相弥补是一种比较全面的方法。

首先，说明了该方法将选择哪些特征和分类器。第二，基于人的思维方式和结构，提出了整合学习的拓扑结构，为分析复杂的人类情感奠定了必要的物质基础。最后，在情感分类过程中，给出了基于拓扑结构的决策策略。

 

最小情绪单位（MEU）：MEU是一个最小的情绪判断单位，不失去马尔可夫性质，如图1所示。对于一个音乐视频，它可以分成几个MEU。一般来说，音乐视频是由片段（场景）、镜头和歌词组成的。从这一特点出发，MEU有不同可能的组合。例如，一个MEU可能由多个音乐片段组成，也可能只有一个片段。类似地，多个镜头或者只有一个，很多歌词甚至在一些极端情况下没有歌词。

The fuzzy emotion classification output range. 糊情感分类输出范围。

 

 

 

 

 

 

 

 

首先，在特征提取方面，根据[20]、[21]、[52]、[53]、[54]提取了镜头剪切率、平均长度、镜头运动强度、亮度（平均值、方差）、温度（平均值、方差）、平均色调、饱和度、亮度、累积颜色直方图（RGB红绿蓝）（最高峰值和第二峰值），共有16个特征作为视觉特征。根据给定的参考文献，本文提取了带宽（均值、方差）、过零率（均值和方差）、节奏、旋律、平均强度节奏、音高、滚降（均值和方差）、Mel倒谱系数（均值、方差）、CQT色度（均值、方差），共14个特征作为音频特征。最后，本文确立了正、负词辞作为歌词的特征。

对分类器的选择要求不高。本文采用一种通用的BP神经网络作为主要方法。通过选择合适的方法和参数，可以明显地提高求解性能。

 

 

 

 重点1：分类器融合

 

 

 

 

重点2： Confidence interval decision置信区间决策   见文章

 结果：

为了分析PIL的性能和应用，本文进行了三个实验。第一个实验通过比较每个分类器来分析我们的方法的性能。第二个实验评估了每个测试者的偏好。第三个实验探讨了敏感度与性别的关系。 

我们选取了30个中国音乐录影带，包括15个表达积极情绪（鼓舞人心、温暖、浪漫、快乐等）、15个消极主题（失恋、思乡、挫折等）。然后，通过人工操作将30个音乐原创乐队剪成498meu，随机抽取3/4样本作为训练集。另外，剩下的1/4作为测试集。

基于集成学习（PIL）的分类概率算法可能适用于类似于模糊性和复杂性并存的情感分类问题。然而，它的泛化能力还需要通过大量的数据或更多新的问题来验证。在上述实验过程中，我们发现了一些有趣的现象。例如，与测试者标记的结果和分类器获得的结果进行比较，可以发现有些测试者的标记序列与某些特定分类器的判断非常相似。根据每个测试者的标签序列，将每个分类器的输出概率相加，得到不同测试者的不同敏感度分布。最后，我们的算法表现得相当好，并描述了音乐视频的情感管。然而，在方法论和更复杂的应用方面，本研究有很大的扩展空间。有几个问题和悬而未决的问题值得今后探讨和探讨。（1） 影响偏好和情绪敏感度的因素有：（2）PIL应扩展到价唤醒空间；（3）参数的优化。此外，基于先进遗传规划原理[54]、[55]、[56]、[57]的复杂算法可用于提高分类精度的不确定性。

 

2.emotion recognition，EEG

 

3.emotion recognition，neural network