实时移动 GTK+ 窗口

Posted 2023-02-21

【中文标题】实时移动 GTK+ 窗口

【英文标题】：Move GTK+ window in real-time

【发布时间】：2017-07-17 18:44:09

【问题描述】：

我正在创建一个移动窗口，它使用人脸检测坐标作为输入来分配窗口的新位置。目前，人脸检测功能正常，但直到捕获循环结束时才会显示窗口。

我的问题是： -如何在进行图像捕获和面部检测的整个过程中保持窗口处于可见状态？ -“gtk_main”循环是否必要，在这种情况下是否正确使用？ -为什么即使将“gtk_widget_show(window)”放在捕获循环中，窗口也不打开？ -有没有更好的论坛来解答更详细的 GTK+ 问题？

我想在 OpenCV 的“moveWindow”函数之后对其进行建模。此功能非常适合我的需要，使用此功能的唯一问题是我无法自定义窗口。

OpenCV 的“moveWindow”函数源代码： 查看 window.cpp 和 window_gtk.cpp https://github.com/opencv/opencv/tree/master/modules/highgui/src

#include "FlyCapture2.h"
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/objdetect/objdetect.hpp>
#include <opencv2/core/cuda.hpp>
#include <opencv2/cudalegacy/NCVHaarObjectDetection.hpp>
#include <opencv2/cudaobjdetect.hpp>
#include <math.h>
#include <thread>
#include <iostream>
#include <vector>
#include <gtk-3.0/gtk/gtk.h>

using namespace FlyCapture2;


cv::Ptr<cv::cuda::CascadeClassifier> face_detect;

int x,y;

void detect_faces(cv::Mat img, cv::cuda::GpuMat buf)

    std::vector<cv::Rect>faces;

    //Detect faces
    ...

    if (faces.size() > 0) 
    
        float x_f = faces[0].x;
        float y_f = faces[0].y;
        x = roundf(x_f*40/51);
        y = roundf(y_f*135/256);    

    



int main( int   argc, char *argv[])


    //Camera initialization
    ...

    //face detect variables
    face_detect = cv::cuda::CascadeClassifier::create("/home/nvidia/opencv/data/haarcascades_cuda/haarcascade_frontalface_default.xml");
    cv::cuda::GpuMat objbuf;

    //GTK+ Params
    GtkWidget *window;
    gtk_init (&argc, &argv);
    window = gtk_window_new (GTK_WINDOW_TOPLEVEL);
    gtk_window_set_decorated(GTK_WINDOW (window),FALSE);
    gtk_window_set_position(GTK_WINDOW (window), GTK_WIN_POS_CENTER);
    gtk_widget_show  (window);

    // capture loop
    double t = (double)cv::getTickCount();
    for (int i=0;i<100;i++)
    
        // Get the image
        ...

        // convert to OpenCV Mat
        ...


        //Detect Faces
        detect_faces(image,objbuf);
            std::cout<<"x: "<<x<<" "<<"y: "<<y<<std::endl;
        gtk_window_move(GTK_WINDOW (window),x,y);
        while (gtk_events_pending())
            gtk_main_iteration ();

    

    //Record Time
    t = ((double)cv::getTickCount() - t)/cv::getTickFrequency();
        std::cout << "Time: " << (t/100)*1000 << std::endl;

    //Disconnect Camera
    camera.StopCapture();
    camera.Disconnect();

    gtk_main();

    return 0;

【问题讨论】：

您可能需要在每个循环中运行多个gtk_main_iteration()。试试gtk_events_pending()。

感谢 Dan 的建议。虽然，我担心这会重复该程序 GTK+ 参数部分的 gtk_main 循环中的每个操作，从而大大减慢速度。 OpenCV的版本相当快，而这种方式很慢。

【参考方案1】：

最好的方法是将人脸识别程序和 GUI 操作分开在两个不同的线程中，GUI 应该始终在主线程中运行（或者首先创建窗口的那个，这不是严格要求的X11，但它在 Win32 和 Cocoa GTK 后端例如）。

然后识别线程可以根据需要忙循环，并使用空闲回调将窗口更新“发送”到主线程。这是多线程常用的 GTK 方法。

下面是一些解释该方法的代码（一个支持函数和一个替代捕获循环）：

/// support function
struct WindowData

   GtkWindow win;
   int x, y;
;

int move_window(WindowData *p)

    gtk_move_window(p->win, p->x, p->y);
    delete p;
    return FALSE;


[...]

// updated capture loop inside main (capture the variables you need, or this if you are working in a class environment
std::thread t([window, image, objectbuf]
  for (int i=0;i<100;i++) 
      // Get the image
      ...
      // convert to OpenCV Mat
      ...

      //Detect Faces
      detect_faces(image,objbuf);
      WindowData *p = new WindowData();
      p.win = window;
      p.x = x; p.y = y;
      g_idle_add((GFunction)move_window, p);

    
);
gtk_main();
t.join();

[...]

请注意，您还可以将“窗口”设为全局变量（或类成员）并将 x 和 y 设为 std::atomic 以避免每次窗口移动都需要分配/取消分配 WindowData。

【讨论】：

谢谢@gabry，这很有帮助。我在编译时收到错误“'p' was not declared in this scope”，你知道这是为什么吗？此外，变量 'window' 是否必须在 std::thread t( [window] ) 的捕获列表中？

已修复，那是伪代码，是的，窗口应该在捕获列表中，我已经更正了我的答案。