如何用触摸数据模拟鼠标点击？

Posted 2023-02-14

【中文标题】如何用触摸数据模拟鼠标点击？

【英文标题】：How to simulate a mouse click with touch data?

【发布时间】：2019-05-29 17:58:25

【问题描述】：

我正在开发一个 Qt5 应用程序，试图利用来自触摸屏的原始输入数据，因为我的 Linux 内核 (2.6.32) 不完全支持触摸。我为来自 /dev/input/eventX 的原始数据编写了一个解析器，因为即使 X 不支持触​​摸，事件仍然存在。

我能够很好地读取事件，并编写了一个名为“TouchPoint”的包装器，其中包含每个触摸点的 ID 和 (x,y) 坐标，以及一个指示是否触摸点的布尔值当前处于“活动状态”（即：用户当前将手指放在屏幕上）。 值得注意的是，我还输出了当前屏幕上的触摸点数，数值准确。

我的问题是我似乎无法弄清楚如何准确地模拟鼠标点击。对于 Linux 中的多点触控事件，当用户将手指按到屏幕上时，每个触控点都会被分配一个“跟踪 ID”，当该点被抬起时，会生成一个事件，将该插槽的跟踪 ID 设置为 -1。我使用 ID 从某个值到 -1 的这种变化来指示触摸点是否“向下”：

void TouchPoint::setID(int nid) 
    if((id == -1) && (nid >= 0)) down = true;
    else if(nid == -1) down = false;
    id = nid;

为了尝试模拟鼠标点击，我在读取跟踪 ID 事件时执行此操作：

else if(event.code == ABS_MT_TRACKING_ID) 
    bool before = touchPoints[cSlot].isDown(); // where cSlot is the current slot the events are referring to
    touchPoints[cSlot].setID(event.value);
    bool after = touchPoints[cSlot].isDown();

    if(!before && after) touch(touchPoints[cSlot]);

然后 touch 方法会这样做：

void MainWindow::touch(TouchPoint tp) 
    if(ui->touchMe->rect().contains(QPoint(tp.getX(), tp.getY()))) 
        on_touchMe_clicked();
    

按钮不响应我直接触摸它，但有时如果我在屏幕上疯狂地挥动手指，按下它时应该显示的消息框会显示，但是当它这样做时，我的手指总是在另一个地方屏幕区域。

谁能想到我在这里做错了什么？我检查触摸点是否在按钮范围内的方法是否错误？还是我跟踪接触点“关闭”状态的逻辑是错误的？还是完全不同的东西？

更新：通过输出触摸位置和按钮位置的屏幕坐标，我刚刚注意到两件事。

数字化仪分辨率大于屏幕分辨率，因此我需要缩放来自原始事件的 X 和 Y 坐标。 我的坐标有偏移，因为它们是屏幕坐标。

更新 2：我现在已经处理了我上次更新中提到的两个问题，但我仍然无法弄清楚如何准确模拟触摸/鼠标事件以能够与界面交互。我还修改了我的 TouchPoint 类，使其具有一个布尔标志，指示触摸点是否刚刚更新，在更新跟踪 ID 时设置为 true，并在引发 EV_SYN 事件时重置。这样我就可以在为应用程序创建事件之前获取 X 和 Y 位置事件。我尝试了以下方法：

使用 QApplication 类将鼠标事件发布到具有触摸点位置的 QApplication::desktop()->screen() 小部件。 使用 QTest 类向 QApplication::desktop()->screen() 小部件发出一个触摸事件，使用给定插槽和触摸点位置的按下和释放方法，然后使用布尔事件 (QEvent* ) 方法来尝试捕获事件。我还在主窗口上启用了 WA_AcceptTouchEvents 属性。

这些都不起作用，因为某种原因，当我有 "bool event(QEvent*)" 方法时，从读取 /dev/input 的线程发出的信号/eventX 不会触发主窗口类中的插槽。而且我似乎找不到任何其他方法来完成模拟事件。有人有什么想法吗？

【参考方案1】：

您写道，当您的手指处于“错误位置”时，您有时会“点击”您的消息框，因此这听起来像是混合了全局屏幕坐标和小部件本地坐标。看来，在您的 MainWindow::touch 中，您尝试检查全局屏幕坐标中的某个点，例如(530, 815) 在小部件的几何图形内（在其本地坐标中）。 QWidget::rect() 返回按钮（小部件）的内部几何形状，即小部件宽度和高度的矩形，例如(0, 0, 60, 100)。

您必须将矩形移动到全局屏幕坐标中的正确位置。 QWidget::pos() 将小部件本地位置返回给其父级。您可以使用QWidget::mapToGlobal 将小部件坐标位置转换为全局屏幕坐标。那么你的 rect 类似于 (500, 850, 60, 100) ，你应该得到一个命中并调用你的插槽。

但是，更好的方法是使用QApplication::widgetAt 将小部件置于特定的屏幕位置并为其生成鼠标点击。

您可以通过发布鼠标按下和释放来为小部件生成鼠标点击，如下所示：

QPoint screenPos = QPoint(tp.getX(), tp.getY());
QWidget *targetWidget = QApplication::widgetAt(screenPos);

QPoint localPos = targetWidget->mapFromGlobal(screenPos); 
QMouseEvent *eventPress = new QMouseEvent(QEvent::MouseButtonPress, localPos, screenPos, Qt::LeftButton, Qt::LeftButton,  Qt::NoModifier);
QApplication::postEvent(targetWidget, eventPress);
QMouseEvent *eventRelease = new QMouseEvent(QEvent::MouseButtonRelease, localPos, screenPos, Qt::LeftButton, Qt::LeftButton,  Qt::NoModifier);
QApplication::postEvent(targetWidget, eventRelease);

【讨论】：

这正是我想要的！谢谢！

但是，当我从 mapFromGlobal() 方法中点击应用程序外部时，我确实遇到了分段错误。

1) 你检查 targetWidget 不为空吗，2) 你写了一些关于屏幕分辨率比“数字化仪”分辨率更小的东西......代码 sn-p 不应该是完整的强大解决方案，但要描述如何解决您的问题。

不，它是#1。时间还早，我已经半睡半醒了。