Camera知识体系架构之驱动&应用&调试学习笔记-以瑞芯微RV1109为例

Posted 2021-09-14 Engineer-Bruce_Yang

点击上方「嵌入式云IOT技术圈」，选择「置顶公众号」第一时间查看嵌入式笔记！C

Camera知识体系庞大、又杂、又难，虽然资料也不少，但是都很乱，很容易让人感到迷茫,失去学习的信心。对于初入这个体系的小白很难找到自己的学习的目标和方法。众所周知，学好Camera相关的知识，能够在音视频相关等行业拿到非常高的报酬：

根据最近自己调试瑞芯微RV1109平台Camera的一些心得体会，我将它们一一总结出来分享给大家：

1、瑞芯微平台Camera调试知识体系

1.1、调试RK平台摄像头的一些关键缩写语

缩写	全称
3A =>(AWB, AE, AF)	表示AWB, AE, AF的简写
AE =>(Auto Exposure)	表示自动曝光
AF =>(Auto Focus)	表示自动对焦
AWB =>(Auto White Balance)	表示自动白平衡
FBC =>(Frame Buffer Compressed)	表示帧缓冲压缩
FBC0 =>f(Rockchip yuv420sp fbc encoder)	表示RK平台yuv420sp fbc 编码
FBC2 =>(Rockchip yuv422sp fbc encoder)	表示RK平台yuv422sp fbc 编码
RkAiq =>(Rockchip Automatical Image Quality)	表示RK平台自动图像质量
IQ =>(Image Quality)	表示图像质量
ISP =>(Image Signal Process)	表示图像信号处理
ISPP =>(Image Signal Post Process)	表示图像信号后处理

1.2、瑞芯微平台Camera调试知识体系划分

以上分为：软件控制流程、图像算法、图像效果，这是相对于android平台来划分的(图片来源于韦东山老师专家计划的Camera相关章节的学习笔记)。对于驱动工程师，我们只需要关注以下两个点：

图像算法：ISP算法(硬件)、3A算法(AE(曝光)，AF(自动对焦)，AWB(自动白平衡)、后处理算法(HDR、MFNR)

图像效果调试(Tunning)：ISP调试、3A调试、后处理算法调试

1.3、瑞芯微平台中Camera的数据流通路

如上图(图片来源于瑞芯微原厂文档)所示，这张图反馈了以下信息：

Camera数据经过ISP20采集，ISP20再输出经过一系列图像处理算法后的数据，RkAiq不断从ISP20获取统计数据，并经过3A等算法生成新的参数反馈给ISP20，如上所示，以上的设备节点并不是固定的，它可能会改变，我们可以使用media-ctl查看对应的节点。

RKISP驱动主要是依据v4l2 / media framework实现硬件的配置、中断处理、控制 buffer轮转，以及控制subdevice(如mipi dphy及sensor)的上下电等功能，它的处理过程其实是非常复杂的，我们来看下面这张图(图片来源于瑞芯微原厂文档)就知道了：

1.3.1、通过搜索/sys目录下查找对应的节点名称

grep "" /sys/class/video4linux/*/name

来获取相应的节点，如下所示，这是通过grep "" /sys/class/video4linux/*/name来获取的节点信息：

这里你可能会发现，一个ISP节点有多个video节点的对应关系，其实它们是位于不同的media设备下的，因此在不同的media下所对应的video节点也是不同的。

其中，冒号前面的一部分表示video节点，冒号后面一部分就是ISP节点：

如上所示，video节点为：

/sys/class/video4linux/v4l-subdev0/name

ISP节点为：

rkispp-subdev

1.3.2、通过media-ctl获取拓扑信息

我们可以通过media-ctl获取拓扑信息，然后找到相应的数据通路，分别输入以下指令：

media-ctl -p -d /dev/media0
media-ctl -p -d /dev/media1
media-ctl -p -d /dev/media2
media-ctl -p -d /dev/media3

然后我们就可以找到ISP20输出的四路数据的信息了：

也就是说，我们在应用程序中只需要去操作：

/dev/video30  或  rkispp_m_bypass
/dev/video31  或  rkispp_scale0
/dev/video32  或  rkispp_scale1
/dev/video33  或  rkispp_scale2

就可以对摄像头进行驱动了，另外：

rkispp_m_bypass这路数据流比较特殊，其不支持设置分辨率，其输出分辨率由ISP输入的分辨率决定，可以通过media-ctl查看拓扑结构确定ISP输入的分辨率：

如上所示，rkispp_m_bypass这路输出的分辨率为1920x1080。

其它三路数据:rkispp_scale0、rkispp_scale1、rkispp_scale2节点支持缩放，每一路支持的最大分辨率如下所示：

节点名称	视频设备ID	最大支持宽度	支持输出格式
rkispp_m_bypass	/dev/video30	不支持设置分辨率，不支持缩放	NV12/NV16/YUYV/FBC0/FBC2/
rkispp_scale0	/dev/video31	max width: 3264,最大支持8倍缩放	NV12/NV16/YUYV
rkispp_scale1	/dev/video32	max width: 1280,最大支持8倍缩放	NV12/NV16/YUYV
rkispp_scale2	/dev/video33	max width: 1280,最大支持8倍缩放	NV12/NV16/YUYV

video id 节点不是固定的，我的节点也是通过media-ctl查看的。当然我们也可以使用v4l2-ctl来抓图，测试数据是否正常通信。

1.3.3、图像优化调试3A算法

当Sensor输出RAW BAYER RGB格式时，如RGGB,BGGR,GBRG,GRBG等，需要ISP20提供一系列图像处理算法来优化图像效果，此时需要RkAiq模块介入。

SDK提供了一种3A独立进程的方式（ispserver）集成了RkAiq库librkaiq.so，当我们使用RK提供的RKMEDIA进行编程获取据流时，能够得到具有ISP调试效果的图像。

2、RKISP调试

21、查看摄像头sensor驱动的适配情况

我选用的是gc2053这款摄像头，并且在Linux设备树中已经做了相应的支持，故我们可以通过获取内核启动信息来查看摄像头驱动的加载情况，获取方法：

dmesg | grep "gc2053"

我们可以看到如下信息:

其中，如果能在内核信息中看到以上两行信息：

[    0.831096] gc2053 1-0037: Detected GC2053 sensor
[    0.831201] rockchip-mipi-dphy-rx ff4b0000.csi-dphy: match m00_f_gc2053 1-0037:bus type 4

即表示摄像头已经适配成功了！

2.2、获取驱动版本号

搜索相应的字段：

dmesg | grep "rkisp driver version"
dmesg | grep "rkispp driver version"

如下：

或者通过以下命令获取：

cat /sys/module/video_rkisp/parameters/version
cat /sys/module/video_rkispp/parameters/version

如下：

2.3、如何判断RKISP驱动加载状态

RKISP驱动如果加载成功，会有video及media设备存在于/dev/目录下。系统中可能存在多个/dev/video设备，通过/sys可以查询到RKISP注册的video节点：

grep '' /sys/class/video4linux/video*/name

查询信息如下：

当然也可以通过media-ctl命令来打印拓扑结构查看pipeline的状态是否正常，如果RKISP驱动加载成功，则在内核中能看到如下打印：

dmesg | grep Async

如果没有的话，则需要返回到1.1步骤去检查摄像头sensor驱动是否有报错，检测I2C通讯是否正常。

往期精彩

超轻量级网红软件定时器multi_timer(51+stm32双平台实战)

使您的软件运行起来: 防止缓冲区溢出(C语言精华帖)

RT-Thread UART设备驱动框架初体验(中断方式接收带\\r\\n的数据)

数显仪表盘显示“速度、方向、计数器”的跑马灯

MCU串口命令解析器的实现TKM32F499评估板串口通信学习与实践笔记

觉得本次分享的文章对您有帮助，随手点[在看]并转发分享，也是对我的支持。