linux系统中利用QT实现视频监控的基本方法

Posted 2023-03-30 ST小智

     大家好，今天主要和大家分享一下，如何利用QT实现视频监控的基本操作。

目录

第一：视频监控基本简介

第二：实验流程图

第三：视频监控之服务器

第四：视频监控之客户端实现

---

 

第一：视频监控基本简介

      常见的视频监控和视频直播就是使用RTMP 和 RTSP 流媒体协议等。

     RTSP （Real-Time Stream Protocol）由 Real Networks 和 Netscape 共同提出的，基于文本 的多媒体播放控制协议。RTSP 定义流格式，流数据经由 RTP 传输；RTSP 实时效果非常好，适 合视频聊天，视频监控等方向。

     RTMP（Real Time Message Protocol） 由 Adobe 公司提出，用来解决多媒体数据传输流的 多路复用（Multiplexing）和分包（packetizing）的问题，优势在于低延迟，稳定性高，支持所 有摄像头格式，浏览器加载 flash 插件就可以直接播放。

     说了上面那么多，是为了让大家了解当下比较火的流媒体协议。一般这种协议需要搭配服 务器如 nginx 服务器和 ffmpeg 工具来使用。当然像 ffmpeg 这种强大的工具我们是写不出来的， 这种强大的工具已经发展的很好，专门是做音视频处理方案的。

      如果我们不 想用这种方式来做视频监控，有没有简单的一些方案在 Qt 里能使用的呢。答案是有的。看下面的方案。

     在这本 Qt 教程里，前面第十一章，我们已经学习过网络编程。既然学习过网络编程，使用 UDP 或者 TCP 传输，使用 Qt 封装好 TCP/IP 协议 Socket 抽象层接口来通信。那么我们也可以 使用它们来发送图像数据啊。这样，服务器和客户端我们完全可以使用 Qt 来写了。实际上 RTSP 协议和 RTMP 协议都使用 TCP/IP 协议，在传输层使用了 UDP 或 TCP，所以说 RTSP 和 RTMP 协议是更高的一层协议。

第二：实验流程图

      数据传输原理流程图。

 我们需要完成的任务如下。

（1） 服务器采集摄像头的数据。

（2） 处理视频数据转交给 Socket，由 TCP/UDP 传输。

（3） 客户端接收视频数据。

本章项目流程图。

     本项目，使用的是 OV5640 摄像头（500 万像素），本次我们使用 Qt 的 QUdpSocket 传输， 这样就可以有多个客户端可以在不用连接的情况下接收到图像数据。服务端为正点原子的 I.MX6U 开发板，客户端可以为计算机或者其他 I.MX6U 开发板或其他能运行 Qt 的 ARM 开发板。

第三：视频监控之服务器

     服务端工程结构如下：

 项目文件夹下内容解释，源码在工程中查看，有详细注释。 video_server 项目下：

1、capture_thread.h 这个是摄像头捕获线程的头文件。摄像头采集数据，我们开启一个线程来 获取。

2、capture_thread.cpp 摄像头线程的主程序。 其他文件是界面文件，不用再介绍。 capture_thread.h 的内容如下。

1 #ifndef CAPTURE_THREAD_H
2 #define CAPTURE_THREAD_H
3
4 #include <sys/types.h>
5 #include <sys/stat.h>
6 #include <fcntl.h>
7 #include <stdio.h>
8 #include <unistd.h>
9 #include <string.h>
10 #include <pthread.h>
11 #ifdef linux
12 #include <linux/fb.h>
13 #include <sys/ioctl.h>
14 #include <sys/mman.h>
15 #include <linux/videodev2.h>
16 #include <linux/input.h>
17 #endif
18
19 #include <QThread>
20 #include <QDebug>
21 #include <QPushButton>
22 #include <QImage>
23 #include <QByteArray>
24 #include <QBuffer>
25 #include <QTime>
26 #include <QUdpSocket>
27
28 #define VIDEO_DEV "/dev/video1"
29 #define FB_DEV "/dev/fb0"
30 #define VIDEO_BUFFER_COUNT 3
31
32 struct buffer_info 
33 void *start;
34 unsigned int length;
35 ;
36
37 class CaptureThread : public QThread
38 
39 Q_OBJECT
40
41 signals:
42 /* 准备图片 */
43 void imageReady(QImage);
44 void sendImage(QImage);
45
46 private:
47 /* 线程开启 flag */
48 bool startFlag = false;
49
50 /* 开启广播 flag */
51 bool startBroadcast = false;
52
53 /* 本地显示 flag */
54 bool startLocalDisplay = false;
55 void run() override;
56
57 public:
58 CaptureThread(QObject *parent = nullptr) 
59 Q_UNUSED(parent);
60 
61
62 public slots:
63 /* 设置线程 */
64 void setThreadStart(bool start) 
65 startFlag = start;
66 if (start) 
67 if (!this->isRunning())
68 this->start();
69  else 
70 this->quit();
71 
72 
73
74 /* 设置广播 */
75 void setBroadcast(bool start) 
76 startBroadcast = start;
77 
78
79 /* 设置本地显示 */
80 void setLocalDisplay(bool start) 
81 startLocalDisplay = start;
82 
83 ;
84
85 #endif // CAPTURE_THREAD_H

分析：可以看出服务端开辟了一个线程来采集数据，这样的界面和数据逻辑就分开了，界面就不 会卡顿。

第四：视频监控之客户端实现

客户端代码量更小，只需要接收并处理图像数据即可。

1 #ifndef MAINWINDOW_H
2 #define MAINWINDOW_H
3
4 #include <QMainWindow>
5 #include <QUdpSocket>
6 #include <QLabel>
7
8 class MainWindow : public QMainWindow
9 
10 Q_OBJECT
11
12 public:
13 MainWindow(QWidget *parent = nullptr);
14 ~MainWindow();
15
16 private:
17 /* 用于接收数据 */
18 QUdpSocket *udpSocket;
19
20 /* 显示接收的图像数据 */
21 QLabel *videoLabel;
22
23 void resizeEvent(QResizeEvent *event) override;
24
25 private slots:
26 /* 图像更新 */
27 void videoUpdate();
28 ;
29 #endif // MAINWINDOW_H

第五：视频监控综合测试

      界面使用了两个 QCheckBox，一个 QCheckBox 用于开启本地图像显示，也 就是显示摄像头捕获的内容。另一个 QCheckBox 用于开启 udp 广播，也就是将摄像头的捕获的 内容发送出去。这两个功能默认没有选上，请先点击界面底部的“开启采集摄像头数据”进行 数据采集，然后再选上需要开启的功能。

     客户端则可以在另一块开发板或者 Ubuntu/Window 上运行，而且可以多个客户端同时运行 在不同的机器上。确保和服务端在同一个路由器下（同一局域网）。运行结果如下，接收到服务 端的数据，并显示图像，和服务端显示的图像同步，效果不错。

总结：本项目可以应用于如做室外监控，查看来访客人等，很类似智能楼宇里终端的查看大门来 访客人。甚至由读者结合其他例子开发相关的项目。