camera驱动

Posted 2021-07-17 四季帆

1. 概述版----应用操作的步骤

        应用程序通过V4L2接口采集视频数据可以大概分为五个步骤：

        首先，打开视频设备文件，进行视频采集的参数初始化，通过V4L2接口设置视频图像的采集窗口、采集的点阵大小和格式;

        其次，申请若干视频采集的帧缓冲区，并将这些帧缓冲区从内核空间映射到用户空间，便于应用程序读取/处理视频数据;

        第三，将申请到的帧缓冲区在视频采集输入队列排队，并启动视频采集;

        第四，驱动开始视频数据的采集，应用程序从视频采集输出队列取出帧缓冲区，处理完后(比如将取出的内容放到了显示区域framebuffer )，将帧缓冲区重新放入视频采集输入队列，循环往复采集连续的视频数据;

        第五，停止视频采集。

2. 详述版----应用操作的步骤

应用程序通过V4L2接口采集视频数据的文字描述版流程：

        (1)打开视频设备文件。int fd=open("/dev/video0",O_RDWR);

        (2)查询视频设备的能力，比如是否具有视频输入,或者音频输入输出等。ioctl(fd_v4l, VIDIOC_QUERYCAP, &cap)

        (3)设置视频采集的参数

设置视频的制式，制式包括PAL/NTSC，使用ioctl(fd_v4l, VIDIOC_S_STD, &std_id)
设置视频图像的采集窗口的大小，使用ioctl(fd_v4l, VIDIOC_S_CROP, &crop)
设置视频帧格式，包括帧的点阵格式，宽度和高度等，使用ioctl(fd_v4l, VIDIOC_S_FMT, &fmt)
设置视频的帧率，使用ioctl(fd_v4l, VIDIOC_S_PARM, &parm)
设置视频的旋转方式，使用ioctl(fd_v4l, VIDIOC_S_CTRL, &ctrl)　　

        (4)向驱动申请视频流数据的帧缓冲区请求/申请若干个帧缓冲区，一般为不少于3个,使用ioctl(fd_v4l, VIDIOC_REQBUFS, &req)查询帧缓冲区在内核空间中的长度和偏移量 ioctl(fd_v4l, VIDIOC_QUERYBUF, &buf)

        (5)应用程序通过内存映射，将帧缓冲区的地址映射到用户空间，这样就可以直接操作采集到的帧了，而不必去复制。buffers[i].start = mmap (NULL, buffers[i].length, PROT_READ | PROT_WRITE, MAP_SHARED, fd_v4l, buffers[i].offset);

        (6)将申请到的帧缓冲全部放入视频采集输出队列，以便存放采集的数据。ioctl (fd_v4l, VIDIOC_QBUF, &buf)

        (7)开始视频流数据的采集。 ioctl (fd_v4l, VIDIOC_STREAMON, &type)

        (8) 驱动将采集到的一帧视频数据存入输入队列第一个帧缓冲区，存完后将该帧缓冲区移至视频采集输出队列。

        (9)应用程序从视频采集输出队列中取出已含有采集数据的帧缓冲区。ioctl (fd_v4l, VIDIOC_DQBUF, &buf) ，应用程序处理该帧缓冲区的原始视频数据。

        (10)处理完后，应用程序的将该帧缓冲区重新排入输入队列,这样便可以循环采集数据。ioctl (fd_v4l, VIDIOC_QBUF, &buf)

        重复上述步骤8到10，直到停止采集数据。

        (11)停止视频的采集。ioctl (fd_v4l, VIDIOC_STREAMOFF, &type)

        (12)释放申请的视频帧缓冲区unmap，关闭视频设备文件close(fd_v4l)。

        以上的程序流程，包含了视频设备采集连续的视频数据的逻辑关系。而在实际运用中，往往还要加入对视频数据进行处理(如压缩编码)的工作，否则，视频流数据量相当大，需要很大的存储空间和传输带宽。

3. 申请缓冲区的原因

        前期初始化完成后，只是解决了一帧视频数据的格式和大小问题，而连续视频帧数据的采集需要用帧缓冲区队列的方式来解决，即要通过驱动程序在内存中申请几个帧缓冲区来存放视频数据。

        应用程序通过API接口提供的方法(VIDIOC_REQBUFS)申请若干个视频数据的帧缓冲区，申请帧缓冲区数量一般不低于3个，每个帧缓冲区存放一帧视频数据，这些帧缓冲区在内核空间。

        应用程序通过API接口提供的查询方法(VIDIOC_QUERYBUF)查询到帧缓冲区在内核空间的长度和偏移量地址。

        应用程序再通过内存映射方法(mmap)，将申请到的内核空间帧缓冲区的地址映射到用户空间地址，这样就可以直接处理帧缓冲区的数据。

4. 数据处理

(1)将帧缓冲区放在视频输入队列排队，并启动视频采集

        在驱动程序处理视频的过程中，定义了两个队列：视频采集输入队列(incoming queues)和视频采集输出队列(outgoing queues)，前者是等待驱动存放视频数据的队列，后者是驱动程序已经放入了视频数据的队列，应用程序需要将上述帧缓冲区在视频采集输入队列排队(VIDIOC_QBUF)，然后可启动视频采集。

(2)循环往复，采集连续的视频数据

        启动视频采集后，驱动程序开始采集一帧数据，把采集的数据放入视频采集输入队列的第一个帧缓冲区，一帧数据采集完成，也就是第一个帧缓冲区存满一帧数据后，驱动程序将该帧缓冲区移至视频采集输出队列，等待应用程序从输出队列取出。驱动程序接下来采集下一帧数据，放入第二个帧缓冲区，同样帧缓冲区存满下一帧数据后，被放入视频采集输出队列。

        应用程序从视频采集输出队列中取出含有视频数据的帧缓冲区，处理帧缓冲区中的视频数据，如存储或压缩。

        最后，应用程序将处理完数据的帧缓冲区重新放入视频采集输入队列,这样可以循环采集

4.1 补充

        驱动程序开始采集一帧数据，把采集的数据放入视频采集输入队列的第一个帧缓冲区，一帧数据采集完成后，也就是第一个帧缓冲区存满一帧数据后，驱动程序将该帧缓冲区移到视频采集输出队列。这句话的意思是这样的：一帧数据填满后，驱动会将这个buffer从cam->ready_q队列取出，然后挂接到cam->done_q队列，QBUF的时候是将buffer放到ready_q队列，DQBUF的时候是从done_q队列上取buffer。我一直都误解驱动直接将buffer放到了显示设备的buffer中。