有没有办法以编程方式访问 iOS 图像描述器？

Posted 2023-03-12

【中文标题】有没有办法以编程方式访问 iOS 图像描述器？

【英文标题】：Is there a way to programmatically access the iOS image describer?

【发布时间】：2020-11-29 20:34:36

【问题描述】：

启用 VoiceOver 后，ios 可以描述图像。如果打开图像描述选项，这甚至会为图像创建详细的自然语言描述。

有没有办法以编程方式获取此描述？我的用例是实现一个缩略图列表，其中图像描述器只有一个很小的图像可以使用，有时还有重叠的文本，这限制了它的有用性。我想给它一个稍微大一点的图像版本并直接获取描述，以便我可以相应地设置accessibilityLabel。

但是，我只是无法在任何地方找到此文档或讨论的内容。

【参考方案1】：

如果是这样，它将是Vision Framework 的一部分，并且当前不可用。我也没有在 Apple 的 Model Zoo 中看到图像描述模型。

快速搜索显示有关该主题的许多教程。

【讨论】：

图像描述确实在内部使用了 Vision，但它的级别要高得多，所以我怀疑它会存在于 Vision 中。不过，我也确实在那里检查过，但也没有成功。

图像中的图像描述当然是一项计算机视觉任务。我想不出任何更好的框架。如果它不是 Vision 的一部分，也不是 Apple 想要分享的东西，它肯定会在 Model Zoo 中。

我不明白如何将 Vision 视为低级 SDK。本质上，你给它一个图像和一个模型，它会返回预测结果。

是的，但是图像描述也通过自然语言工作将这些结果处理成描述内容和它们之间关系的实际句子，这根本与视觉无关。

它肯定与 Vision 有关，因为语言是从什么来源推断出来的？一个图像！这使它成为一项毫无疑问的视觉任务。我们离题了。如果 Apple 想要分享它，并且它不是 Vision 的一部分，它将在他们的模型动物园中，它不是，所以......

【参考方案2】：

一位 Apple 工程师确认，从 iOS 14 起没有公开的 API。

【讨论】：

嗯，这确实证实了我的回答。

以后我不会回答你的任何问题，因为你只是确认了我的回答并因此获得了荣誉。

好的，但你只是猜到了，我实际上已经与 Apple 工程师确认了这一点。

它被称为“知识”——这就是 SO 的全部意义所在。我每天都在使用  深度学习。