Deep Learning for EEG-Based Preference Classification in Neuromarketing文章精读导读，深度学习在神经营销中基于脑电的偏好分类

Posted 2021-09-07 尹懿汐

深度学习在神经营销中基于脑电的偏好分类

• 博主的小前言
• 1 介绍 Introduction
• 2 研究背景 Background
• • 2.1 神经营销 Neuromarketing
  • 2.2 脑机接口 BCIs
  • 2.3 脑电波 EEG
  • • 2.3.1 节律 Rhythms
    • 2.3.2 瞬时活动 Transient activities
• 3 文献综述 Literature Review
• • 3.1 偏好中的神经相关性 Neural Correlations of the Preference
  • • 3.1.1 接近-退缩动机指数 AW Index
    • 3.1.2 努力指数 Effort Index
    • 3.1.3 选择指数 Choice Index
    • 3.1.4 效价 Valence
  • 3.2 偏好的预测特征 Predictive Features for Preferences
  • • 3.2.1 节律作为特征 Rhythms as Features
    • 3.2.2 瞬时活动作为特征 Transient Activities as Features
    • • 3.2.2.1 N400
      • 3.2.2.2 N200
      • 3.2.2.3 P300
  • 3.3 偏好分类算法 Preference Classification Algorithms
  • 3.4 基于脑机接口的偏好检测 Preference Detection Using a BCI
• 4 提出一种基于EEG的偏好检测系统 Proposed System for the EEG-based Preference Detection
• • 4.1 数据集介绍 Dataset Description
  • 4.2 偏好建模与基本事实 Preference Modeling and Ground Truth
  • 4.3 数据预处理 Data Pre-Processing
  • 4.4 特征提取 Feature Extraction
  • • 4.4.1 功率谱密度 PSD
    • 4.4.2 效价 Valence
  • 4.5 深度神经网路分类器 DNN Classification
• 5 结果和讨论 Results and Discussion
• 6 总结 Conclusions
• 7 参考文献 Reference

博主的小前言

博主前几天读到了一篇文献（Deep Learning for EEG-Based Preference Classification in Neuromarketing ），甚是震撼，觉得这篇文献简直是教科书级别的论文，特别适合小白入门脑机接口领域。文献对神经营销相关的知识整理得比较到位，虽然还说不上100%全面和完整，但也给人很好的概念和框架。实在忍不住把论文打印下来做了手写版笔记，并整理发一篇论文解读。

总结感悟：此文献不仅对神经营销，脑机接口等基本概念进行解说、调研和综述，还解释了脑电的几种经典瞬时活动、节律、评价偏好的性能指标以及业内主流算法，并总结前人基于脑电工作的应用场景和所用所用算法及其精确度。还介绍了几种模型的评估方法和验证方法。设计了脑电信号的特征提取方法，构建了一个DNN网络，还介绍对比几种损失函数。对比几种算法模型下的几种评估和验证方法，以及算法内的几种损失函数，以得最优结果。

此文献异常精细，极适精读。博主认为堪称教科书级文献。

声明：关于文章的解读内容，为节省篇幅，博主仅凭借自己浅薄的知识去总结概括出文献每一部分博主觉得很重要或者比较关键的点（可是花了很多时间总结很多小框架出来呢），其他内容也是很值得去细读的。（想精读原文的，论文原文和手写版笔记都可以跳转上面的链接免费获取噢）
注：如有什么理解不到位的地方，欢迎指正哈。

1 介绍 Introduction

神经营销是一个新兴的领域，它利用神经科学将消费者行为的认知和情感方面联系起来。 自2002年诞生以来，这一领域在广告和营销专家中迅速获得了信誉，许多这样的专家正在采用神经营销策略[1]。神经营销可以帮助营销者理解消费者的大脑如何评价不同的品牌，并认识到影响消费者在购买产品时选择的因素。已有研究表明，人们并不总是明确自己的偏好或意图[2]。使用传统的营销工具，如访谈和问卷，来评估消费者的偏好、需求和购买意图，可能会导致产生有偏见或不正确的结论[3，4]。 同样，口头表达偏好可能会产生有意识或无意识的偏见。 由于高昂的产品成本、伦理谨慎的考虑，或者产品在评估时还没有发明，直接通过选择来获取消费者的偏好是困难的[3]。这些要素突出了可用性评估过程中用户的意见与他们对产品使用的实际意见、感受和感觉之间的矛盾[4]。因此，神经营销需要更有效的方法来评估消费者行为。

本研究采用脑电信号作为脑-机接口系统的输入脑电信号。使用分类算法，BCI可以被用作神经测量，从大脑信号中区分偏好模式，并将它们转化为促销产品的行动。此外，实现并检验了深度神经网络(DNN)的性能，为偏好分类的基准数据集建模。本研究的主要目的是深入研究神经营销中基于脑电的偏好识别，通过比较深度学习与其他传统分类算法(如支持向量机(SVM)、随机森林(RF)和k近邻(KNN))的性能，以提高分类预测的准确性。

2 研究背景 Background

2.1 神经营销 Neuromarketing

大约90%的数据是在人类头脑中潜意识处理的，对潜意识活动的评价比传统的营销研究更准确地揭示了消费者的真实偏好。

除了脑机接口，还有其他几种神经营销方式，如眼球跟踪、皮肤电反应、皮肤电导、面部编码和面部肌电图。每种模态记录不同的神经测量[11]。

眼球跟踪用于确定眼球位置和眼球运动，以掌握消费者对营销刺激的注意力和自然反应。皮肤电反应衡量的是水分活动，这与情绪状态有关。肌电图用于评估面部肌肉的生理特征。面部编码通过面部表情测量情绪状态。

2.2 脑机接口 BCIs

BCI是神经营销领域最有前途的神经成像技术之一。 该技术有助于促进用户和计算机系统之间的有效通信。BCI不需要任何神经、肌肉或运动干扰来发出命令[5]，并利用自愿产生的用户大脑活动通过信号控制系统与附近环境进行通信或交互。这样的环境可以包括轮椅、假臂/手，以及涉及到熟练的可视化、数字绘画和玩游戏的娱乐应用程序[6]。

非侵入性BCI可以记录不同的神经成像技术，如EEG、fNIRS、fMRI、PET、MEG、SST和TMS。EEG比fNIRS具有更好的时间分辨率， fNIRS在神经营销研究中是一种相对较新的神经成像技术。然而，最近的fNIRS研究仍处于实质性的验证阶段[13，14]。脑电图最常用于神经营销研究，因为它的优点将在下一小节详细介绍。

2.3 脑电波 EEG

EEG有以下主要优点：它是非侵入性的、便携的、经济实惠的、使用相对简单的，并且它具有卓越的时间分辨率(高达毫秒)。 然而，与其他技术相比，信噪比和空间分辨率受到了限制。 然而，EEG被认为是实现重复的、实时的大脑交互分析的 唯一实用的、非侵入性的BCI输入 [5-7]。

国际10-20系统是一种根据电极在头皮上的位置来命名电极的方法。该方法涉及与电极间空间有关的信息，具体地说，相邻电极之间的距离是头皮直径的10%或20%，如图1所示。10-20标准经常用于不同的脑电系统，以提高信号的可靠性并降低信噪比[5，7]。

Right hemisphere: 右半球
Left hemisphere: 左半球
Mid Line: 中线
F: Frontal lobe: 额叶
T: Temporal lobe: 颞叶
P: Parietal lobe: 顶叶
O: Occipital lobe: 枕叶
Mid line: 中线

大脑产生丰富的神经活动，这些活动可以被捕获为脑机接口的脑电信号。这些神经活动包括两种类型：(1)节律；(2)瞬时活动。 脑电图活动可以根据这些类型的活动进一步分类[6，7]。

2.3.1 节律 Rhythms

节律、神经振荡或脑波都是神经活动的重复形式。
节律是对神经元组的集体突触、神经元和轴突活动的测量。
脑电活动的特征是将频率分离成频带，表示为δ、θ、α、β、γ和µ节律。
表1详细列出了脑电节律、频率、幅度和形状的范围，以及这些活动最常见的大脑区域，以及通常与频带类型相关的事件[6，7]。
这些频段与情感反应有关：

• 大脑中央前部的 θ 带反映了消费者看产品时的情绪处理过程。

• 前额叶皮质上的 α 波段区分了积极和消极的情绪效价。

• β 波段与情感唤醒过程中的变化有关。

• γ 波段在很大程度上与唤醒效应有关[15]。
  
  上表显示了节对应的人的基本状态，总结如下：

• δ：深度睡眠

• θ：困倦，睡眠的第一步

• α：运动

• β：打开并集中注意力

• γ：高度清醒，警觉和专注

• µ：更高级的精神活动，包括直觉和意识

2.3.2 瞬时活动 Transient activities

瞬时活动或场电位以类似于棘波的方式复制某些神经元的动作电位。这些尖峰可以通过它们的位置、频率、幅度、形状、重复性和操作特性来识别。

事件相关电位(ERPs)和事件相关频谱扰动(ERSPs)是常见的瞬态活动类型[3，16]。

ERP是最常见的尖峰，是对特定事件或刺激的反应。这些尖峰的振幅极小。因此，必须在多次迭代中对脑电样本进行平均，以发现事件相关电位并消除噪声波动[16]。

表2列出了神经营销研究中常用的事件相关电位。

上表介绍了常用于神经营销的瞬时活动，总结如下：

事件相关电位 ERP	描述
P300	内部决策。工作记忆中注意力的活动，及对反应的调节。
N200	与不熟悉相关。200~350ms达峰值。
LPC	与显性识别记忆相关，400~800ms达峰值。
LPP	正或负的效价的刺激，可理解为中性、令人愉快或不愉快的上下文刺激。
N400	与品牌名称有关（与奇特实验有关）。语义冲突有关，可以用来测谎。
FN400	与熟悉相关，在前额中心，对新词的潜在负面影响更大。在300~500ms时达峰值。
FRN	反馈相关的负性，与选择相关，在不利和有利产品出现后200-300ms出现。
PSW	对视觉情感刺激的持续关注相关。

3 文献综述 Literature Review

脑电图可以用来确定消费者的喜好。为了在消费者神经科学研究中更好地利用脑电图，必须了解消费者偏好背后的心理过程。
这一部分详细介绍了基于EEG的偏好识别，特别是 偏好的神经关联、偏好的预测特征和偏好分类算法。

3.1 偏好中的神经相关性 Neural Correlations of the Preference

尽管许多研究人员[24-26]已经证明内侧-额叶皮质负责偏爱功能，但对于应该在同一大脑区域使用哪些电极还没有达成共识。
图2为脑电图电极和相关的神经功能。

表3总结了偏好识别研究中使用的电极位置。

对上表及其解释总结如下表：

参考文献	节律或瞬时活动	电极通道	神经活动	脑区
[24]	β（16-18hz）	AFz, F2, FC1, FCz	个体偏好	额叶内侧皮质＋额中区
[24]	θ（60-100hz）	F1, F2, F4, FC3, FC1, FCz, FC2, FC4, C5, C3, C1, C4, CP5	群体偏好	额中区
[28]	θ	Fp1/Fp2, AF7/AF8, F7/F8, F1/F2	不对称活动增加对应广告偏好
[28]	α	Fp1/Fp2, AF7/AF8, F7/F8, F1/F2	不对称活动增加对应广告偏好
[29]	α	Fp3, F4	不对称活动增加对应产品吸引力的无意识反应
[27]	N200	F3, C3, P3, Pz, Fz, Cz, C4	注意力、情绪和喜好

EEG指数在文献回顾的基础上，我们确定了四个用于评价人们对营销刺激反应的自主EEG指数：

3.1.1 接近-退缩动机指数 AW Index

AW指数也被称为前额α不对称， 表示动机、欲望或接近回避。 解释如下：

计算公式如下：注意alpha(F4)表示的是F4通道 α 频段的功率谱密度。

3.1.2 努力指数 Effort Index

努力指数努力指数被定义为前额叶皮质的额叶θ活动。额叶区域较高的θ能力 与较高的任务难度和复杂性有关。这一指标是由 精神疲劳引起 的认知过程的标志[33]，这一因素证明了正面和负面情绪处理对于在广告过程中创造稳定记忆痕迹的重要性[30]。

3.1.3 选择指数 Choice Index

选择指数选择指数是根据额叶的非对称 γ 和 β 振荡来定义的，这两种振荡大多 与实际决策阶段有关 。在评估消费者的偏好和选择时，它也是 与支付意愿反应最相关 的因素，特别是在 γ 频段。 γ 和β波段的值越高，表明左侧前额叶区域的激活越强，而值越低，右侧区域的激活越强[32]。
Ramsoy 等人根据公式(2)，使用电极AF3和AF4分别计算每个波段( γ 和 β)的选择指数：

3.1.4 效价 Valence

额叶不对称与以 效价(即顾客情绪状态的方向) 表示的偏好有关。左右额叶激活分别与正价和负价相关。许多研究都支持这样的假设，即额部脑电图的不对称性是效价的一个指标[34]。

3.2 偏好的预测特征 Predictive Features for Preferences

本节集中在神经科学方法的预测特征上，这些方法可以帮助营销者预测消费者的偏好。

接着作者对前人的研究做了个表格总结。
基于刺激内容、分析的信号类型、分析什么具体的节律或者瞬时活动、分析什么神经信号（脑电还是眼电之类）。

3.2.1 节律作为特征 Rhythms as Features

（这里作者引用一些综述来证明节律与偏好有关）

3.2.2 瞬时活动作为特征 Transient Activities as Features

3.2.2.1 N400

N400与产品和品牌的无意识概念分类有关，与有意识评估无关。

3.2.2.2 N200

N200指示自发过程决定的产品偏好，LPP和PSW指示由有意识过程决定的偏好。N200波幅揭示了情绪状态和品牌延伸类别之间的关系。这种关系只有在负面情绪和适度品牌延伸的情况下才会出现。

3.2.2.3 P300

消费者对扩展的品牌标签的偏好是用更大的P300振幅来阐明的[17]。[40]的作者使用P300来衡量消费者对某些产品特性的偏好。其他研究人员[18，39]也考虑了影响购买决策的因素。

3.3 偏好分类算法 Preference Classification Algorithms

• 尽管在将大脑活动与用户选择联系起来方面已经取得了相当大的进展，但神经评估真正有益于预测营销活动成功的迹象仍然有限[24]。
• 预测能力：神经评估 > 传统评估。
• 相关大脑区域的 决策前激活可以用来预测 随后的选择[46]。
• 使用数据挖掘方法的偏好建模：
  

表5列出了一些实验性神经营销文章的综述和计算方法的比较。

LDA和SVM是最常用的。

• 最近研究设计的算法四大类：
• 自适应分类器： 权重随新的脑电数据出现而重新评估和修正。
• 矩阵和张量分类器： 将数据映射到特定空间。（避免了滤波器和特征选择）
• 迁移学习： 学习另一个域或任务的同时，提高一个域的性能。
• 深度学习

用于BCI的最流行的DNN类型是多层感知器（MLP） ，它通常只由一个或两个隐藏层组成。其他类型的DNN类型的探索频率较低。

三维旋转物品进行 偏好识别分类精度：DNN > SVM、RF、KNN 等。

表6列出了一些神经营销研究，这些研究使用不同的分类算法来获得预测消费者偏好的最准确结果。综述强调需要使用 更多的特征和混合分类器 来提高预测结果的准确性[22，44]。

3.4 基于脑机接口的偏好检测 Preference Detection Using a BCI

这一部分解释了神经营销实验的设计过程，以预测消费者的偏好和选择。

• 首先，BCI设备必须放在消费者的头上。
• 在记录阶段，当消费者观看产品时，同时记录EEG数据。
• 在观看了每个产品之后，用户被要求以 主观排名的5分或9分为标准来回答他或她对该产品的偏好。
• 当所有产品都显示时，主观等级必须 手动标记为喜欢或不喜欢 的类别。
• 接下来，对脑电信号进行 信号预处理和特征提取。
• 分类模块 是基于消费者选择完成的基本事实(主观排名)开发的。

图3提出了一个用于偏好检测的脑机接口系统，该系统由三个主要模块组成：信号预处理、特征提取和选择以及分类。

4 提出一种基于EEG的偏好检测系统 Proposed System for the EEG-based Preference Detection

作者所使用分析的数据集、开发语言和工具箱如下所示：

作者又提出脑电信号识别系统的性能取决于特征提取技术和分类算法的选择。

4.1 数据集介绍 Dataset Description

下面是对DEAP数据集的详细介绍：

4.2 偏好建模与基本事实 Preference Modeling and Ground Truth

为了设置真正的偏好(Groundn Truth)(有种归一化对照的感觉)，使用DEAP自我评估报告来识别偏好状态，使用九点Likert价度来衡量。

4.3 数据预处理 Data Pre-Processing

下图为预处理的步骤框图：

4.4 特征提取 Feature Extraction

图4给出了特征提取的框图：

4.4.1 功率谱密度 PSD

PSD是神经营销研究中最常用的基于频域分析的特征提取方法之一。

使用Python信号处理工具箱(MNE)计算功率谱密度，
并使用MNE工具箱中的avgpower函数计算频带上的平均功率以构建特征。

4.4.2 效价 Valence

在本研究中，选择效价作为偏好的衡量标准。强效价反映在额部脑电不对称性的激活上[34]。

在DEAP数据集[58]中，价态和EEG频带之间有很高的相关性，如图5所示。

价态的增加导致阿尔法的功率增加，这与类似研究的结果一致[34]。

本文没有在DEAP数据集中使用喜欢评分，因为数据拥有者[58]报告了左侧阿尔法幂激活和喜欢之间的相互矛盾的发现。

本文应用了不同的价态方程，并研究了它们与DEAP自评价态测量的关系。

4.5 深度神经网路分类器 DNN Classification

DNN输入：$$Xi\in R^{e\times s}$$
其中，e指e个电极，s指s个样本。

下图显示了作者设计的 DNN 分类器的框架图：

梯度下降方式本文使用 Adam 梯度下降。

使用三种目标损失函数进行比较：

对于迁移学习，我们考虑了合理的默认值，并遵循了既定的最佳实践：开始学习率为0.001。

然后，我们线性地降低了每个时期的学习率，使得最后一个时期的学习率为0.0001。

我们将输入层和隐藏层的丢失率分别设置为0.1和0.05。

根据模型在测试集上的性能，确定了网络训练的停止准则：如果网络开始过大，网络培训就会停止。

该停止准则有助于减少验证数据过拟合的可能性。

5 结果和讨论 Results and Discussion

本文对比分析了如下内容：

对比之后结果如下：


下图是对比 DNN 分类器在三种不同的损失函数之下在每个epoch上的平均损失：

6 总结 Conclusions

本研究利用经过预处理的DEAP数据集，提出了一种DNN模型来检测EEG信号中的偏好。从脑电信号中提取了 两类特征：功率谱密度(PSD)和价态。 这一方面导致了一组2367个独特的特征，说明了每个试验中的脑电活动。我们使用 不同的评估方法(准确度、召回率和精确度) 和 各种验证方法(holdout、LOOCV和k重交叉验证) 来测试分类器的性能。我们构建了 四种不同的分类器，即 DNN 、RF、SVM和KNN分类器 ，分别达到了 94% 、92%、62%和88%的准确率。 实验结果表明，虽然与KNN和SVM相比，DNN具有更高的准确率、召回率和精确度，但在相同的数据集上，RF的结果与DNN相似。 未来的研究方向将包括在转移学习的背景下探索用于偏好检测的DNN。

7 参考文献 Reference

M. Aldayel, M. Ykhlef, and A. J. A. S. Alnafjan, 10, 1525 (2020).

至此，终于码完对文章的精读导读啦。感觉对您有用的话，麻烦给个点赞噢。