使用模型的预测分数作为运动质量评估器

Posted 2023-03-12

【中文标题】使用模型的预测分数作为运动质量评估器

【英文标题】：Using model's prediction score as movement quality evaluator

【发布时间】：2021-12-16 21:46:35

【问题描述】：

让我们以使用传感器数据（来自 iPhone 传感器的加速度计和陀螺仪数据）评估非常短的舞蹈动作（乐句）的任务为例。如果模型对特定舞蹈短语的置信度为 100%，则并不一定意味着用户完美地执行了该动作短语。

鉴于此任务由非常短的动作（1-2 秒）组成，鉴于正在处理非常高质量的数据集（传感器数据），鉴于模型在对这些动作短语（动作）进行分类方面具有非常高的准确性假设这个动作分类器也可以用作运动评估器是否公平？

例如，我们可以设置 50% 的阈值并根据模型的置信度来评估运动，即如果模型有 40% 的信心认为这个运动（我们事先知道基本事实）是 X，我们说用户没有正确执行动作，但如果模型有 90% 的置信度，我们就说动作正确执行。换言之，我们会根据模型的置信度向用户提供有关其表现的反馈。

或者这仍然无关紧要，我们不能简单地得出结论，一个强大的动作分类器可以被视为潜在的动作评估器？

或者，如果我提供某些数据定性特征，例如 25th、50th 和 75th 百分位数（这些点处的某些峰值弥补了我的数据）以及平均值和标准差将每个传感器作为注意力模型的特征进行推理，因为我将这些作为输入特征提供给模型，分类器的预测现在可能已经略微推向评估者的预测？

【问题讨论】：

你自己说的； “并不一定意味着用户完美地执行了这个动作短语。”您的模型从短语中提取的特征集不一定是评估非常短的动作（子动作，如果您愿意的话）质量的良好候选者，除非您的模型经过训练以保持这些非常短的动作的一致性。跨度>

关于如何训练模型以保持这种一致性的任何（一般）指针？

您需要在损失函数中解决这个问题。而实现这一点的方式几乎完全取决于您的数据集。你提到你有一个高质量的数据集，所以我假设你的数据可能有足够的粒度来衡量你的子操作的质量。这些测量可以作为辅助损失集成到一般损失函数中，以便您的模型可以优化以优先考虑子操作的质量。

感谢您的建议。您是否碰巧知道这个想法在某些情况下的一些实现，您可以参考我？

不客气。如果你觉得这个想法有用，我会想出一个正确的答案

【参考方案1】：

你自己说的； “并不一定意味着用户完美地执行了这个动作短语。”您的模型从短语中提取的特征集不一定是评估非常短的动作（子动作，如果您愿意的话）质量的良好候选者，除非您的模型经过训练以保持这些非常短的动作的一致性。

您可以在损失函数中解决这个问题。而实现这一点的方式几乎完全取决于您的数据集。你提到你有一个高质量的数据集，所以我假设你的数据可能有足够的粒度来衡量你的子操作的质量。这些测量可以作为辅助损失集成到一般损失函数中，以便优化模型以优先考虑子操作的质量。

这里有一些研究(1)(2) 探索了人群密度估计任务的类似可能性。

【讨论】：

感谢您的指点！还有一个问题：如果我提供某些数据的定性特征，例如第 25、50 和 75 个百分点（这些点的某些峰值弥补了我的数据质量），你认为它（理论上）有多大意义) 以及平均值和 SD将每个传感器作为注意力模型的特征进行推理，因为我将这些作为输入特征提供给模型，分类器的预测现在可能已经略微推向评估者的预测？

很难说，因为我不知道这些数据的定性特征是否可以代表您期望在输入中出现的模式。为了设计注意力结构，我宁愿找到能够在网络的早期层正确执行非常短的运动但通过更高层减少的特征。正如您所建议的，这也可能是输入特征，如果没有看到数据就不能说更多。