模仿人类触觉认知的压电式触觉传感与机器学习系统

Posted 2021-04-03 3xmaker合越智能

模仿人类触觉认知的压电式触觉传感与机器学习系统

 

随着电子设备和信号处理的进步，基于五种人类感官的数字体验得到了改善。例如，虚拟现实（VR）提供视觉和听觉感觉，增强现实（AR）可以提供更多个性化服务，增强现实（AR）提供3D空间图像和立体声等的数字体验可用于许多领域，包括娱乐和网络营销使用。此外，这些技术的发展是为了在人与机器之间交换情感。为了获得更身临其境的数字体验，必须感测和传递触觉信息，而用手触摸对象与看见和听到有所不同。因此，已经非常关注提供触觉信息的技术，并且已经提出并开发了各种触觉传感器和致动器。

然而，与对视觉和听觉，人造触觉或触觉系统在其能力被限制为直接物理值传送至人类或机器，因为在生成触觉感受的困难。触觉材料分类并不代表人类的整体触感。由于尚未清楚地揭示人脑对触觉的处理，并且人间的触觉反应各不相同，因此通过人工系统来模仿触觉是具有挑战性的。此外，由于世界上纹理材料太多，因此先前分类方法的局限性显而易见。

因此，像人类的触觉一样，有必要开发一种基于受过训练的数据来决定未经训练的表面材料并产生触觉的触觉系统。在《Advanced Science》的最新报告中，研究人员使用压电式触觉传感器记录各种物理信息，包括压力，温度，硬度，滑动速度和表面形貌。

 

在这项工作中，Kyungsoo Kim和韩国信息与通信工程，神经病学，大脑和认知科学领域的科学家团队通过测试人类参与者对各种材料（从光滑到柔软到粗糙到粗糙）的触觉，设计出了人工触觉认知。

 

为了解释人类之间的反应差异，Kim等人。设计了一种深度学习结构，用于通过在记录物理触觉信息的同时基于触觉认知的个性化直方图进行训练来进行个性化。对于42种不同类型的材料，每个化身系统的决策误差均小于2％，可通过每种材料的100次试验测量触觉数据。触觉化身机根据触觉训练数据的知识对材料的新体验进行分类，以显示与特定用户的方法高度相关。科学家打算提出一种具有触觉情感交流能力的先进方法，以实现电子设备中的高级数字体验。

触觉化身系统使用其人类对应物做出的触觉决定进行训练，能够做出与人类相似的触觉决定。

 

1、数字触觉

电气设备和信号处理方面的创新已经基于五种人类感官推动了数字体验。例如，虚拟现实（VR）可以提供不寻常的听觉感觉，而增强现实（AR）可以在娱乐和互联网营销的各个学科上提供具有3-D空间图像和立体声的个性化体验。这些技术也在不断发展，以在人与机器之间交换情感，并且对基于触觉传感器的技术给予了极大的关注。在这项工作中，人造触觉系统会根据用户的触觉提供“平滑/柔软”和“粗糙”的触感，从而开发出“触觉虚拟形象”。该方法模仿了基于压电传感器系统和深度学习过程的心理触觉。类人传感器和处理系统提供了一种人工触觉认知系统，使研究人员可以测试设备的性能以进行触觉决策-使用未经培训或新颖的触觉材料来制作并了解其性能。

（a） 触摸、滑动，（b）定制移动设备的释放状态，（c）触觉传感器与摩擦表面材料的幅值图像，（d）三维打印人工手指模型的触觉传感器，（e）本研究所用42种织物。

压电触觉传感器的基本性能。（a） 示意图和（b）5×6触觉传感器的触觉传感单元及其在人工手指设计中的应用触觉传感器。触觉传感器由一对电极组成，以P（VDF-TrFE）为主要材料，采用圆顶结构放大压电陶瓷信号，类似于指纹。（c）压电和热释电触觉传感器用P（VDF-TrFE）材料的特性。摩擦产生的压电电压，摩擦力增加。（d） 两个连续排列的传感器单元的压电信号测量摩擦速度。（e） 低温和高温下的热释电电压，以及（f）温度敏感性。热释电效应（g）触觉传感器的响应时间和（h）稳定性。

人类对42个触觉样本的触觉决策。a）10名参与者的触觉决定的平均直方图；（a）-1和（a）-2分别是2D和3D的图形表示。b）触觉决定差异（平均RMSE），即每个受试者的平均决定之间的差异。虚线水平线，表示触觉决定的平均值RMSE将S（下）和D（上）组分开。c）S（红色，n = 7）和D（蓝色，n = 3）组的触觉判定标准偏差值。点和阴影分别对应于组平均值和方差。d）（b）中确定的四名参与者的触觉决定示例。

 

2、设计触觉化身

 

该人的触觉系统是复杂的并有待详细说明。为了代表人类的触觉认知，金等。使用个别的触觉决策直方图训练系统。该设置获得了由并行输入层中的触摸和滑动过程产生的基线信号。触觉传感器生成的信号与材料的硬度，温度和表面特征有关，非常类似于人类制造的信号。触摸信号的斜率和振荡频率包含材料硬度和表面形貌的信息。该团队还构建了一个具有组合神经网络层的决策处理系统，以强调样本分类的特定功能。他们在隐藏层中分别处理了两种有关触摸和滑动的数据。神经网络将多个标签分配给反映人类触觉认知的不同权重。他们希望该设置能够在在线购物和AR / VR环境中具有所需的触感。该过程也可以包含在人造皮肤系统中，以模仿一般的人类触觉。

通过摩擦和接触材料获得的信息。a，c）2号样品和38号样品的表面图像。b，d）分别摩擦2号和38号样品的压电电压。e）通过商业硬度计测量的42个样品的硬度水平。f）使用通过接触硬或软材料获得的信息绘制的压电斜率。g）随着材料硬度的增加，比较压电电压的第一斜率和通过硬度计测得的硬度。

 

3、了解人类的触觉系统

 

为了设计类似人的触觉系统，Kim等人。在10位参与者中，使用了42种材料，从最光滑到最柔软和最粗糙。样品的表面结构，厚度和其他特征均选自用于服装的一般材料数据库。参与者对材料的排名从1到42，其中1个最光滑，42个最粗糙。他们将测试结果取平均值，并相应地订购触觉材料。在排序过程中，人类的判断是不一致的，因此，团队在评估过程中考虑了触觉决策和触觉混乱，以评估人类的敏感性。研究人员创建了一个彩色决策矩阵来详细比较触觉决策中的个体差异，并包括均方根误差（RMSE）值。结果表明，如何需要一个独特的个性化支持的触觉系统来模仿人类的触觉认知。

 

4、用于深度学习和基于深度学习的触觉识别的人工传感器系统

 

该团队使用由压电材料制成的多阵列触觉传感器来测量表面信息。他们应用了一种机器学习算法，在42种测试触觉材料中产生了人工触觉。材料的硬度提供了主要的物理参数之一，可以为研究中的触觉深度学习过程提供信息。科学家使用硬度计进行测量，并根据压电信号确定硬度。研究人员设计了基于压电信号的触觉决策系统，具体取决于神经网络层的组合。他们设计了每个并行网络以提取特定特征并进行复杂的分类处理，以模仿人类对触觉分类的认知基于触觉受体。研究人员采用标签来训练神经网络，并使用人工传感器对触觉材料进行分类。在培训过程中，团队优化了网络，以从所有未经培训的样本中选择正确的触觉样本。

用于触觉决策的深度学习。a）人类触觉认知的直方图。b）使用标签训练的机器的触觉直方图。c）建议的基于直方图的网络的输出层，用于42种触觉材料，其纹理范围从光滑/柔软（底部）到粗糙（顶部）。d）根据公差范围的分类精度。

 

5、优化的机器学习

然后，科学家们提出了一种新方法来训练机器，以通过使用人类触觉决策直方图来做出触觉决策。为此，他们将人类触觉决策直方图映射到输出节点以训练机器，其中直方图包含有关人类平均触觉决策和基于决策混乱的方差的信息。研究人员并没有专注于更高的分类准确性，而是着重于通过深度学习网络模仿人类的触觉决策。Kim等。指出与机器的触觉决定相比，人类参与者的平均RMSE（均方根误差）更大。触摸和滑动运动使机器可以将新近体验过的材料表面与多种经过训练的材料进行比较，从而根据现有知识对新的触觉材料进行分类。Kim等。在...上形成了触觉化身系统神经形态系统减少了计算的时间延迟，并最小化了执行执行机器的大小。

经过全面训练的网络可以模仿人类的触觉决定。a）人类和b）较早代表的四个参与者的人工触觉决定。基于c）均值和d）峰度值，分析机器和人类参与者之间的触觉决策相似性。训练数据以平均值±标准差表示。

 

这样，Kyungsoo Kim及其同事开发了一种触觉虚拟化身系统，该系统具有由压电材料制成的多阵列触觉传感器以及基于人类触觉认知的深度学习过程。他们希望未来的研究能够提高触觉虚拟化身处理触觉信息的能力，这将使机器能够替代虚拟空间（例如在线购物中心）中的人类。

 

结论：

开发了压电式触觉传感器，以动态记录各种物理信息，例如压力，温度，硬度，滑动速度和表面形貌。对于人工触觉认知，评估了人类对各种触觉材料的触觉，从光滑/柔软到粗糙，并发现参与者之间存在差异。由于人类的触觉反应各不相同，因此设计了深度学习结构，以允许通过基于个人触觉认知的直方图进行训练并记录物理触觉信息来进行个性化设置。作为触觉化身，该机器根据从训练数据中获得的触觉知识对新近体验的材料进行分类。触觉显示与特定用户的倾向高度相关。这种方法可以应用于具有触觉情感交流能力以及高级数字体验的电子设备。

---

南京合越智能科技有限公司，我们的技能范围从物理原型造型设计，基于多材料结构电子一体化3D打印与喷墨印刷技术的物理样机的开发和交付，一直到接口设计、传感感知数据分析与柔性传感器测量测试服务，再到推动用户参与产品体验的数据科学和人机工程学评估。

---

南京合越智能科技有限公司，专注于提供基于柔性电子、印刷电子及其多材料增材制造技术、智能机器人增强传感器在柔性混合电子、物联网、医联网、增强现实、智能可穿戴等领域的感知、测量、测试与新型人机交互与人机协作技术的研发创新解决方案。