检测屏幕截图中的文本区域

Posted 2023-02-21

【中文标题】检测屏幕截图中的文本区域

【英文标题】：Detect Areas of Text in Screenshot

【发布时间】：2011-03-23 13:25:16

【问题描述】：

我正在开展一个项目，以提高 wine 自动测试软件包的能力。我现在要做的是在当前窗口的屏幕截图中检测文本。然后我可以解析所有文本并使用自动热键在我想要的文本坐标上单击鼠标。

例如，在 Firefox 中，我可能想测试不同的东西，第一个打开是打开首选项。然后我需要解析 Firefox 的屏幕截图，检测所有单独的文本位置。然后，我可以将这些单独的文本图像运行到 tesseract-ocr 并检测哪一个显示“编辑”。然后我再次为“首选项”重做。

我试图找到解决方案，但到目前为止找不到任何东西。我更喜欢使用 python 或具有 python 绑定的解决方案，因为这就是我迄今为止一直在编程的。

【问题讨论】：

您是否不需要某种光学字符识别解决方案才能正确解析文本？换句话说，你将如何从图像中获取文本？

【参考方案1】：

一个可能的起点是Project SIKULI。它是一个自动化 GUI 测试的工具。它是用 Java 编写的，但它包含一个基于 Jython 的脚本环境，因此修改它以支持 python 脚本可能不会太困难。