OpenHD改造实现廉价高清数字图传（树莓派+PC）—gstreamer视频采集传输和显示

Posted 2023-03-23 hoopertsau

        图传的一个重要功能就是可以看视频。主要是采集树莓派zero摄像头的数据，经过编码打包，通过wifibroadcast发送到地面端的PC上，然后再通过解码显示出来。

        这里用到了视频采集和编解码相关的软件。

        在树莓派上，有自带的软件可以直接采集视频，很方便；地面端的解码可以使用gstreamer来做，因为涉及到显示窗口的问题，可能还需要跟X Window相关的库。

1. 使用wifibroadcast作为数据传输的通道；
2. 发送端：树莓派的摄像头使用raspivid命令行即可实现视频数据的采集和编码；
3. 接收端：使用gstreamer进行解码和显示。

一、摄像头视频采集

        树莓派摄像头还是比较便宜的，使用自带的raspivid程序就可以采集视频，直接编码成H.264流。

        发送端的命令行：

raspivid -n  -ex fixedfps -w 1920 -h  1080 -b 4000000 -fps 30 -vf -hf -t 0 -o – | sudo ./tx_my.sh wlan1

-o 表示输出，最后的 - 表示输出到标准输出流，可以在后面接上wbf的发送命令，直接将流发出去；

-n 表示不进行视频的预览

-w -h 表示视频的宽度和高度

-b 表示视频码率，单位时bps

-fps 表示设置fsp帧速率

-vf -hf 表示纵向和横向视频反向

-t 表示采集时间，单位ms，0表示一直采集

后面的tx_my.sh脚本看上一篇文章的介绍。

OpenHD改造实现廉价高清数字图传（树莓派zero + ubuntu PC ）——（二）Wifibroadcast Wifi广播通信_hoopertsau的博客-CSDN博客_openhd

通过这个就可以将视频流通过WiFibroadcast发出去了。

二、视频接收解码和显示

        视频的接收端使用gstreamer相关的库去做。

        安装相关的库命令行

sudo apt-get install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libgstreamer-plugins-bad1.0-dev gstreamer1.0-plugins-base gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly gstreamer1.0-libav gstreamer1.0-doc gstreamer1.0-tools gstreamer1.0-x gstreamer1.0-alsa gstreamer1.0-gl gstreamer1.0-gtk3 gstreamer1.0-qt5 gstreamer1.0-pulseaudio

        内容比较多，要安装一会的。

        gstreamer可以先用命令行工具进行解码测试，如果没什么问题可以对照相关命令行的内容，编写成C++代码和单独的应用程序。       

        接收端的命令行：

sudo ./rx_my.sh wlan0| gst-launch-1.0 -v fdsrc fd=0 ! h264parse ! avdec_h264 ! videoconvert ! xvimagesink 

        这里首先用rx_my.sh接收数据，通过管道输入给gsteamer工具；

        然后使用gst-launch-1.0工具，这里的fdsrc就是从fd文件读取数据，fd=0 中的0 就是标准输入的fd编号，也就是从管道上过来的数据，接收到的视频数据。

        这样就能直接在PC上自动开启一个窗口进行显示了。通过这个命令行可以测试一下通信和编解码是否正常。

       

三、使用gstreamer API开发GUI显示程序

        但是这个工具是个单独的软件，如果要根据我们的OSD叠加就不好弄了，因此还是要用gstreamer的API进行开发，后面还要将OSD的显示整合进来。

        可以参考官方的这篇文章进行GUI的开发。Basic tutorial 5: GUI toolkit integration

        但我准备用的就是直接使用XWindow，略微有些不一样，但总体上的思路是相同的。

        使用streamer开发视频显示应用软件，主要就是创建合适的窗口，初始化gstreamer管道并连接相关插件，然后将gstreamer显示绑定到窗口上，就可以显示了。

        直接上一个最简单的代码看看。       

#include<X11/Xlib.h>
#include <glib.h>
#include <gst/gst.h>
#include <gst/video/videooverlay.h>
#include <stdio.h>

// 定义一个窗口
Window win;

void initGst()

	// 创建视频处理的管道，这里和使用命令行类似
	GstElement *pipeline = gst_pipeline_new ("xvoverlay");
	GstElement *src = gst_element_factory_make ("videotestsrc", NULL);
	GstElement *sink = gst_element_factory_make ("xvimagesink", NULL);
	gst_bin_add_many (GST_BIN (pipeline), src, sink, NULL);
	gst_element_link (src, sink);

	// 绑定UI界面，这里的win就是我们创建的X Window
	gst_video_overlay_set_window_handle (GST_VIDEO_OVERLAY (sink), win);
	
	// 将状态设置为运行
	GstStateChangeReturn sret = gst_element_set_state (pipeline, GST_STATE_PLAYING);  



int main(int argc, char *argv[])

  /* 初始化GStreamer库 */
  gst_init (&argc, &argv);
  
  // 打开一个显示
  Display *dsp = XOpenDisplay( NULL );
  if( !dsp ) return 1; 

  // 设置屏幕
  int screenNumber = DefaultScreen(dsp);
  unsigned long white = WhitePixel(dsp,screenNumber);
  unsigned long black = BlackPixel(dsp,screenNumber);

  // 创建窗体
  win = XCreateSimpleWindow(dsp,
                               DefaultRootWindow(dsp),
                               50, 50,   // origin
                               800, 600, // size
                               0, black, // border
                               white );  // backgd
							   
  XMapWindow( dsp, win );

  long eventMask = StructureNotifyMask;
  XSelectInput( dsp, win, eventMask );

  XEvent evt;
  do
    XNextEvent( dsp, &evt );   // calls XFlush
  while( evt.type != MapNotify );

  // 创建具体的视频处理管道，并绑定刚才的创建的窗口
  initGst();
  
  do
  
    XNextEvent( dsp, &evt );   // calls XFlush()
  while( evt.type != ButtonRelease );
  
  
  XDestroyWindow( dsp, win );
  XCloseDisplay( dsp );

  return 0;

这个代码就是一个最简单的gstreamer的GUI程序，保存成x11_gst_demo.cpp

编译一下：

g++ x11_gst_demo.cpp -o x11_gst_demo `pkg-config --cflags --libs gstreamer-video-1.0 gstreamer-1.0 x11`

这是一个简单的程序，使用videotestsrc显示一个测试画面

接下来就可以在这个基础上，将视频处理的部分进行变化，使用不同的插件组合使用，来接收显示我们摄像头传过来的画面。

主要是实现这句话：

gst-launch-1.0 -v fdsrc fd=0 ! h264parse ! avdec_h264 ! videoconvert ! xvimagesink 

 主要是该initGst函数，将上面这条语句用C++代码来实现，代码不难，看一下就应该能看懂。如果有些不清楚可以上网查询相关的函数的定义。

void initGst2()
	
	GstElement *gst_pipeline;
	GstElement *gst_src;
	GstElement *gst_parser;
	GstElement *gst_decoder;
	GstElement *gst_conv;
	GstElement *gst_sink;
	
	// 以下的效果与这条语句等同
	// gst-launch-1gst-launch-1.0 -v fdsrc fd=0 ! h264parse ! avdec_h264 ! videoconvert ! xvimagesink 
	
	// 创建管道
	gst_pipeline = gst_pipeline_new ("xvoverlay");
	
	// 创建fdsrc，用来从标准输入接收视频流
	gst_src = gst_element_factory_make ("fdsrc", "source");
	// 设置属性fd=0
	g_object_set(G_OBJECT(gst_src), "fd", 0, NULL);
	
	// 创建h264解码器
	gst_parser = gst_element_factory_make("h264parse", NULL);
	gst_decoder = gst_element_factory_make("avdec_h264", NULL);
	
	// 创建视频转换插件
	gst_conv = gst_element_factory_make("videoconvert", NULL );
	
	// 创建sink显示插件
	gst_sink = gst_element_factory_make ("xvimagesink", "sink");
	
	// 将多个插件连接起来
	gst_bin_add_many(GST_BIN(gst_pipeline), gst_src, gst_parser,gst_decoder, gst_conv, gst_sink, NULL);
	if(gst_element_link_many(gst_src, gst_parser, gst_decoder, gst_conv, gst_sink, NULL) == 0 )
	
		printf("gst_element_link_many error!\\r\\n");
	
	
	// 绑定UI界面，这里的win就是我们创建的X
	gst_video_overlay_set_window_handle (GST_VIDEO_OVERLAY (gst_sink), win);
	
	// 将状态设置为运行
	GstStateChangeReturn sret = gst_element_set_state (gst_pipeline, GST_STATE_PLAYING);  
	printf("set gst playing. sret=%d\\r\\n",sret);

重新编译运行，就可以实现从标准输入显示视频了

用这个软件直接替换刚才的gstreamer自带的工具即可

四、小结

        使用wifibroadcast作为底层通信，使用gstreamer来解码，使用X11窗口来进行显示。

        发送端：

raspivid -n  -ex fixedfps -w 1920 -h  1080 -b 4000000 -fps 30 -vf -hf -t 0 -o – | sudo ./tx_my.sh wlan1

        接收端：

使用gstreamer自带工具：

sudo ./rx_my.sh wlan0| gst-launch-1.0 -v fdsrc fd=0 ! h264parse ! avdec_h264 ! videoconvert ! xvimagesink 

使用自己开发的GUI程序

sudo ./rx_my.sh wlan0 | x11_gst_demo