Meta 发布 Bean Machine 帮助衡量 AI 模型的不确定性

Posted 2022-01-07 AI科技大本营

编译 | 禾木木

出品 | AI科技大本营（ID:rgznai100）

Meta 近日宣布发布 Bean Machine，这是一种概率编程系统，表面上可以更轻松地表示和了解 AI 模型中的不确定性。

在早期测试版中，Bean Machine 可用于通过自动的“不确定性感知”学习算法来发现模型中未观察到的属性。

研究人员表示：“Bean Machine 的灵感来自于可视化概率分布的物理设备，这是概率系统的预计算示例。Bean Machine 开发团队相信系统的可用性是可以成功的，他们已将设计集中在 PyTorch 生态系统中的声明式哲学上。”

建模不确定性

研究者普遍认为，深度学习模型即使会有出错的地方，但是也很厉害。认知不确定性描述了由于训练数据不合适而导致模型不知道的内容，而认知不确定性是由观察的自然随机性引起的不确定性。给定足够的训练样本，认知不确定性会降低，但即使提供更多数据，也无法降低认知不确定性。

概率建模，Bean Machine 采用的人工智能技术可以通过考虑随机事件在预测未来结果发生时的影响来衡量这些不确定性。与其他机器学习方法相比，概率建模具有不确定性估计、表达能力和可解释性等优点。利用它的分析师不仅可以了解人工智能系统的预测，还可以了解其他预测的相对可能性。概率建模将模型结构与问题结构相匹配变得更加简单。有了概率模型，用户可以解释做出特定预测的原因，有助于模型开发过程。

Bean Machine 是建立在 Meta 的 PyTorch 机器学习框架和 Bean Machine Graph (BMG) 之上，可以让数据科学家直接在 Python 中写出模型的数学，并让 BMG 完成概率建模、推断的工作。

Bean Machine 测量的不确定性有助于突出模型的限制和潜在的故障点。例如，不确定性可以揭示房价预测模型的误差幅度，或用于预测模型的置信度新应用功能是否会比旧功能表现的更好。

哈佛大学最近的一项研究进一步说明了不确定性概念的重要性，发现向具有机器学习背景的人和非专家的人展示不确定性指标对 AI 预测的弹性有均衡的影响。

Meta表示：“无论是在创建模型，还是对学习策略进行高级修补，希望量化预测能让 Bean Machine 的使用变得简单而直观。”

Bean Machine 已于 12 月初在 GitHub 上可用，有想了解的开发者们，可以在平台上应用。

参考链接：

https://venturebeat.com/2021/12/16/meta-releases-bean-machine-to-help-measure-ai-model-uncertainty/