Camera知识体系架构之驱动&应用&调试学习笔记-以瑞芯微RV1109为例

Posted Engineer-Bruce_Yang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Camera知识体系架构之驱动&应用&调试学习笔记-以瑞芯微RV1109为例相关的知识,希望对你有一定的参考价值。

点击上方「嵌入式云IOT技术圈」,选择「置顶公众号」第一时间查看嵌入式笔记!C

Camera知识体系庞大、又杂、又难,虽然资料也不少,但是都很乱,很容易让人感到迷茫,失去学习的信心。对于初入这个体系的小白很难找到自己的学习的目标和方法。众所周知,学好Camera相关的知识,能够在音视频相关等行业拿到非常高的报酬:

根据最近自己调试瑞芯微RV1109平台Camera的一些心得体会,我将它们一一总结出来分享给大家:

1、瑞芯微平台Camera调试知识体系

1.1、调试RK平台摄像头的一些关键缩写语

缩写全称
3A =>(AWB, AE, AF)表示AWB, AE, AF的简写
AE =>(Auto Exposure)表示自动曝光
AF =>(Auto Focus)表示自动对焦
AWB =>(Auto White Balance)表示自动白平衡
FBC =>(Frame Buffer Compressed)表示帧缓冲压缩
FBC0 =>f(Rockchip yuv420sp fbc encoder)表示RK平台yuv420sp fbc 编码
FBC2 =>(Rockchip yuv422sp fbc encoder)表示RK平台yuv422sp fbc 编码
RkAiq =>(Rockchip Automatical Image Quality)表示RK平台自动图像质量
IQ =>(Image Quality)表示图像质量
ISP =>(Image Signal Process)表示图像信号处理
ISPP =>(Image Signal Post Process)表示图像信号后处理

1.2、瑞芯微平台Camera调试知识体系划分

以上分为:软件控制流程、图像算法、图像效果,这是相对于android平台来划分的(图片来源于韦东山老师专家计划的Camera相关章节的学习笔记)。对于驱动工程师,我们只需要关注以下两个点:

图像算法:ISP算法(硬件)、3A算法(AE(曝光),AF(自动对焦),AWB(自动白平衡)、后处理算法(HDR、MFNR)

图像效果调试(Tunning):ISP调试、3A调试、后处理算法调试

1.3、瑞芯微平台中Camera的数据流通路

如上图(图片来源于瑞芯微原厂文档)所示,这张图反馈了以下信息:

Camera数据经过ISP20采集,ISP20再输出经过一系列图像处理算法后的数据,RkAiq不断从ISP20获取统计数据,并经过3A等算法生成新的参数反馈给ISP20,如上所示,以上的设备节点并不是固定的,它可能会改变,我们可以使用media-ctl查看对应的节点。

RKISP驱动主要是依据v4l2 / media framework实现硬件的配置、中断处理、控制 buffer轮转,以及控制subdevice(如mipi dphy及sensor)的上下电等功能,它的处理过程其实是非常复杂的,我们来看下面这张图(图片来源于瑞芯微原厂文档)就知道了:

1.3.1、通过搜索/sys目录下查找对应的节点名称
grep "" /sys/class/video4linux/*/name

来获取相应的节点,如下所示,这是通过grep "" /sys/class/video4linux/*/name来获取的节点信息:

这里你可能会发现,一个ISP节点有多个video节点的对应关系,其实它们是位于不同的media设备下的,因此在不同的media下所对应的video节点也是不同的。

其中,冒号前面的一部分表示video节点,冒号后面一部分就是ISP节点:

如上所示,video节点为:

/sys/class/video4linux/v4l-subdev0/name

ISP节点为:

rkispp-subdev
1.3.2、通过media-ctl获取拓扑信息

我们可以通过media-ctl获取拓扑信息,然后找到相应的数据通路,分别输入以下指令:

media-ctl -p -d /dev/media0
media-ctl -p -d /dev/media1
media-ctl -p -d /dev/media2
media-ctl -p -d /dev/media3

然后我们就可以找到ISP20输出的四路数据的信息了:

也就是说,我们在应用程序中只需要去操作:

/dev/video30  或  rkispp_m_bypass
/dev/video31  或  rkispp_scale0
/dev/video32  或  rkispp_scale1
/dev/video33  或  rkispp_scale2

就可以对摄像头进行驱动了,另外:

rkispp_m_bypass这路数据流比较特殊,其不支持设置分辨率,其输出分辨率由ISP输入的分辨率决定,可以通过media-ctl查看拓扑结构确定ISP输入的分辨率:

如上所示,rkispp_m_bypass这路输出的分辨率为1920x1080。

其它三路数据:rkispp_scale0、rkispp_scale1、rkispp_scale2节点支持缩放,每一路支持的最大分辨率如下所示:

节点名称视频设备ID最大支持宽度支持输出格式
rkispp_m_bypass/dev/video30不支持设置分辨率,不支持缩放NV12/NV16/YUYV/FBC0/FBC2/
rkispp_scale0/dev/video31max width: 3264,最大支持8倍缩放NV12/NV16/YUYV
rkispp_scale1/dev/video32max width: 1280,最大支持8倍缩放NV12/NV16/YUYV
rkispp_scale2/dev/video33max width: 1280,最大支持8倍缩放NV12/NV16/YUYV

video id 节点不是固定的,我的节点也是通过media-ctl查看的。当然我们也可以使用v4l2-ctl来抓图,测试数据是否正常通信。

1.3.3、图像优化调试3A算法

当Sensor输出RAW BAYER RGB格式时,如RGGB,BGGR,GBRG,GRBG等,需要ISP20提供一系列图像处理算法来优化图像效果,此时需要RkAiq模块介入。

SDK提供了一种3A独立进程的方式(ispserver)集成了RkAiq库librkaiq.so,当我们使用RK提供的RKMEDIA进行编程获取据流时,能够得到具有ISP调试效果的图像。

2、RKISP调试

21、查看摄像头sensor驱动的适配情况

我选用的是gc2053这款摄像头,并且在Linux设备树中已经做了相应的支持,故我们可以通过获取内核启动信息来查看摄像头驱动的加载情况,获取方法:

dmesg | grep "gc2053"

我们可以看到如下信息:

其中,如果能在内核信息中看到以上两行信息:

[    0.831096] gc2053 1-0037: Detected GC2053 sensor
[    0.831201] rockchip-mipi-dphy-rx ff4b0000.csi-dphy: match m00_f_gc2053 1-0037:bus type 4

即表示摄像头已经适配成功了!

2.2、获取驱动版本号

搜索相应的字段:

dmesg | grep "rkisp driver version"
dmesg | grep "rkispp driver version"

如下:

或者通过以下命令获取:

cat /sys/module/video_rkisp/parameters/version
cat /sys/module/video_rkispp/parameters/version

如下:

2.3、如何判断RKISP驱动加载状态

RKISP驱动如果加载成功,会有video及media设备存在于/dev/目录下。系统中可能存在多个/dev/video设备,通过/sys可以查询到RKISP注册的video节点:

grep '' /sys/class/video4linux/video*/name

查询信息如下:

当然也可以通过media-ctl命令来打印拓扑结构查看pipeline的状态是否正常,如果RKISP驱动加载成功,则在内核中能看到如下打印:

dmesg | grep Async

如果没有的话,则需要返回到1.1步骤去检查摄像头sensor驱动是否有报错,检测I2C通讯是否正常。

往期精彩

超轻量级网红软件定时器multi_timer(51+stm32双平台实战)

使您的软件运行起来: 防止缓冲区溢出(C语言精华帖)

RT-Thread UART设备驱动框架初体验(中断方式接收带\\r\\n的数据)

数显仪表盘显示“速度、方向、计数器”的跑马灯

MCU串口命令解析器的实现TKM32F499评估板串口通信学习与实践笔记

觉得本次分享的文章对您有帮助,随手点[在看]并转发分享,也是对我的支持。

以上是关于Camera知识体系架构之驱动&应用&调试学习笔记-以瑞芯微RV1109为例的主要内容,如果未能解决你的问题,请参考以下文章

Camera基础摄像头驱动原理和开发&&V4L2子系统驱动架构

Camera | 1.Camera基础知识

Camera | 1.Camera基础知识

android从应用到驱动之—camera---程序调用流程(转)

Windows打印体系结构之打印驱动框架

android从应用到驱动之—camera---cameraHAL的实现(转)