Camera ISP-知识大纲

Posted 2022-11-10 嵌入式Max

随着工作时限的增长，与工作相关的知识点已经开始慢慢的从一个个孤立的点向着还尚未成型的网进化而去，虽然还未完全成型，但是基本的轮廓已然影影绰绰。为了对知识面进行一个总结归纳，也为了巩固并拓展目前的知识面，所以准备开一个新的专题，就是 Camera 的 ISP 知识专题，这个专题应该会成为一个长期更新的专题。

到现在为止 Camera ISP 仍然在总体上还是一个偏经验的东西，就是说它不是一个标准化的流程，ISP 全称：Image Signal Processor。它不是一个具体的什么模块，而是一个流程，目的就是把 Camera 图像传感器收集到的图像从电平信号转换为可存储的像素数据，并且要使得输出图像效果要符合每家厂商的主观审美。而市面上会生产 ISP 软硬件的消费品公司我们熟知的就是手机和数码相机，而众所周知，各家的图像效果又是不一样的，这个不一样不是某几块不一样，而是整个整体观感都是不一样的，所以从这个角度来看也可以说它不是一个标准化的流程，而是有着极大的创作灵活度的。

而在 ISP 这个庞大的流程当中，自然也不可能全是不可捉摸的经验，还是有很多很多的基础理论的，这些理论本质上是标准化的，只是说应用的时候大家用法不太一样。而这个系列就打算穿插这些统一的理论和一部分不一样的应用来对自己的工作进行复习巩固和拓展。基本上内容可以分为下面几个大的方面：

1. ISP 的基础理论，比如说色彩原理、像素定义、基本概念等等。
2. 部分的 ISP 实时渲染处理以及后处理相关的知识，比如说 Gamma 矫正，色彩矫正、镜头阴影矫正、降噪、色调映射等等。
3. 图像的仿射变换、翘曲等等。
4. 人工智能在 ISP 处理当中的应用。

ISP 基础理论

这个其实没有明确的定义，反正按照我自己的归类去写了，具体来说大概就是色彩原理，曝光、摄影基本概念等等，会大量参考：https://www.cambridgeincolour.com/learn-photography-concepts.htm 这里的文章。这些基本上是属于完全的理论知识部分，怎么说呢，就有点像是内功心法这个感觉，但又不完全是，相当于是一个入门的概念解析吧。

这部分我也没有全部看过，都是在工作当中的被动学习以及少部分主动了解的，属于是一种无意识的知识接纳，所以这块对于我自己来说也是一个归整的时机，让自己更多的去了解一个基础的概念性质的知识点，相信对自己还是有不少帮助的。

实时处理、后处理

后处理这部分应该是涵盖范围最广的，Image Warp 也可以归入此类，不过我就分出来了，作为两个部分去写，属于我自己的分类喜好。这部分的处理主要是对图像的质量进行矫正，比如说噪声消除、色彩矫正、亮度对比度调整、色调映射等等。

下一篇计划写的就是 Gamma 这部分，广义上的 Gamma 矫正应该占到了差不多百分之二三十的后处理，包括局部色调映射和全局色调映射应该都是可以算做叫 Gamma 矫正的。剩下一大部分就是降噪和 HDR，然后还有一部分色彩映射边缘增强之类的，其中的重点就是降噪和 HDR，降噪又分为空域降噪和时域降噪，分别有不同的优缺点，这点后面也会提及。而 HDR 则是今年比较关注的部分，因为现在夜景的拍照和视频已经卷到了一定的程度，尤其是华为的夜景起了个卷王的开头，后面手机影像有很大一部分也是关于夜景的比拼了。

这部分我觉得应该会分为：Gamma，LTM，GTM，HDR，降噪等这几个大的部分去写写。

图像变换

这里主要就是说图像的翘曲变换，可以做的常规功能有畸变校正、Roll shutter 矫正、图像防抖、多摄变焦对齐等，这部分的功能复杂度比较高，应该说相对于降噪和 HDR 来说算是复杂度更高一层的图像处理了，有点偏向于计算机视觉的感觉，当然，手机里面的翘曲变换受限于硬件算力等等，并没有计算机视觉里面那么变态。

这部分变换有一个特点就是需要对图像进行标定来获取镜头、sensor 的几何参数，然后再进行进一步的计算，所涉及到的运算有很大一部分都是线性代数、插值运算。图像变换除了多摄变焦对齐和 Roll shutter 矫正目前看起来必须软件算法参与之外，畸变校正和图像防抖一定程度上都是可以被硬件替代的，比如无畸变镜头、光学机械防抖，这些从硬件去做可以达到更好的效果，软件处理必不可少的已经丢失了一部分原始数据信息，再加上算法并不是完美的，得到的效果总是不如硬件方式来得好，不过受限于硬件的规格，软件算法处理这部分现在也是必须的辅助手段，不可缺少。

AI ISP

AI 现在已经有点想用一个 AI 节点处理所有 Raw 到 Jpeg/YUV 域的 ISP 流程，也就是说传统的 ISP pipeline 那么一长串在一定的条件下只需要一个 AI node 就可以替换出相似的效果，这个如果乍一看是有点吓人的，ISP 发展了这么多年就这么被一个 AI 节点给替代了，也代表着数万人的失业。目前为止传统的 ISP 还由于下面几个因素并没有被替换掉：

1. AI 的计算涉及到大量的硬件算力，目前还无法集成到手机实时影像处理的节点。
2. AI 并不能处理所有的场景，传统的 ISP 也是需要庞大的节点和 pipeline 才能够勉强覆盖到大多数场景。
3. 影像是一个比较偏向于主观感觉的东西，AI 调出来的画面目前并不具备完善的 tuning 参数来进行精细化控制，无法完成差异化的成像需求。

目前 AI ISP 也是想着把一部分传统 ISP 的节点用 AI 来进行替换，就有点儿类似把一个 AI 节点拆成一个个的特定 AI 模块，听起来是不是跟传统 ISP pipeline 一模一样了，现在就是这种状态，传统的 ISP 朝着 AI 的方向进化，相当于是把一整个 AI 节点拆分的过程逆化了，不知道最后能不能做到一个 AI 节点处理一切。