ISP: ISP 概述

Posted 2023-03-09

参考技术A

ISP全称 Image Signal Processing，即图像信号处理。主要用来对前端图像传感器输出信号处理的单元，以匹配不同厂商的图象传感器。

常用的结构如下图所示，主要包括镜头，基座，传感器以及PCB部分。

CCM (Camera Compact Module)分为4种：FF、MF、AF和ZOOM。
FF (Fix Focus)，定焦摄像头，是国内目前用的最多摄像头，用于30万和130万的手机产品。
MF (Micro Focus)，两档变焦摄像头，主要用于近景拍照，如带有名片识别以及条形码识别的手机上，用于130万和200万的手机产品。
AF (Auto Focus)，自动变焦摄像头，主要用于高像素手机，同时具有MF的功能，用于200万和300万的手机产品。
AZ (Auto Zoom)，自动数码变焦摄像头，主要用于相机手机，类似于相机影像的品质，用于300万以上的手机产品。

景物通过镜头（LENS）生成的光学图像投射到图像传感器(Sensor)表面上，然后转为电信号，经过A/D（模数转换）转换后变为数字图像信号，再送到数字信号处理芯片（DSP）中加工处理，再通过I/O接口传输到CPU中处理，通过display就可以看到图像了。

Lens的作用是滤去不可见光，让可见光进入，并投射到Sensor上。Sensor的工作原理：光照--〉电荷--〉弱电流--〉RGB数字信号波形--〉YUV数字信号信号

元件类型不同分为： CCD 和 CMOS 。
CCD （Charge Coup LED Device，），一般是用于摄影摄像方面的高端技术元件。CCD的优点是灵敏度高，噪音小，信噪比大。但是生产工艺复杂、成本高、功耗高。
CMOS （Complementary Metal-Oxide Semiconductor，金属氧化物半导体元件）应用于较低影像品质的产品中。CMOS的优点是集成度高、功耗低(不到CCD的1/3)、成本低。但是噪音比较大、灵敏度较低。对于CMOS来说，具有便于大规模生产，且速度快、成本较低，将是数字相机关键器件的发展方向。CMOS感光器以已经有逐渐取代CCD感光器的趋势，并有希望在不久的将来成为主流的感光器。

Sensor的封装形式有两种：CSP和DICE。在模组厂商加工制造中，CSP所对应的制程是SMT，DICE所对应的制程是COB。

厂商有Omnivision、Siliconfile、Samsung 、SONY、Aptina等.

Sensor 的框图如图所示（以 Ov2718 为例）：

ISP (Image Signal Processor)，即图像处理，主要作用是对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节。

这一部分大家中学应该就学过了，简要总结一下：
物体距离凸透镜<2倍焦距，成放大虚像，比如放大镜；
物体距离凸透镜=2倍焦距，成等大倒立实像，成像在2倍焦距处；
物体距离凸透镜>2倍焦距，成缩小倒立实像，成像在1倍焦距和2倍焦距之间；

重点就在于物体距离凸透镜>2倍焦距，成缩小倒立实像，成像在1倍焦距和2倍焦距之间</mark>；
对于相机来说，透镜的焦距也就是三四十毫米，手机摄像头焦距更短，只有几毫米，所以被拍摄的物体基本上都是在2倍焦距以外的，也就说会成缩小倒立实像，成像面在1倍焦距与2倍焦距之间，问题是，具体在哪里？

对焦需要解决的就是在哪个位置成像最清晰的问题，很明显，物体距离凸透镜距离不同其成像最清晰的位置也不同，不需要对焦的镜头必然有一个默认取景距离，比如电脑摄像头，手机前置镜头，他们的默认取景距离大概是40cm，因此只要事先调整好就行，它们不是不用对焦，而是已经对好焦了。

中学物理课堂上有一个实验，就是透镜成像实验，其中有一个问题是蜡烛的成像在哪里最清晰？大家应该都还记得一个公式：
(相距v，物距u，焦距f)
相距v，物距u分别是成像到透镜和物体到透镜的距离，f是焦距，物体和成像之间是满足这样一个关系的，因此要想得到蜡烛最清晰的像只需要直到蜡烛到透镜的距离和透镜的焦距即可，轻松愉快。
其实这正是主动式对焦的原理，只要有精确的测距工具，对焦是很简单的。

但是在很多地方，尤其是民用市场，想要给相机按上一个高精度测距仪，代价无疑是很高的，有没有其他办法实现对焦？很明显，就是刚才提到的物理实验所采用的的探索法，让改变镜头与CMOS之间的距离，总能找到成像的最佳位置。
在这种想法的作用下，被动式对焦就应运而生了，主要是以额外硬件为代价的相位法和基于软件的对比度法。

自动曝光是指根据光线的强弱自动调整曝光量，防止曝光过度或者不足，在不同的照明条件和场景中实现欣赏亮度级别或所谓的目标亮度级别，从而捕获的视频或图像既不太暗也不太亮

白平衡就是针对不同光线条件下，通过找到图像中的白块，然后调整 R/G/B 的比例抵消 偏色 ，把白色物体还原成白色物体，使其更接近人眼的视觉习惯。

Sensor的动态范围就是Sensor在一幅图像里能够同时体现高光和阴影部分内容的能力。在自然界的真实情况，有些场景的动态范围要大于100 dB，人眼的动态范围可以达到100dB。高动态范围成像的目的就是要正确地表示真实世界中的亮度范围。适合场景：比较适合在具有背光的高对比度场景下使用如：日落、室内窗户，这样能使明处的景物不致过曝，而使得暗处的景物不致欠曝。

颜色校正主要为了校正在滤光板处各颜色块之间的颜色渗透带来的颜色误差。一般颜色校正的过程是首先利用该图像传感器拍摄到的图像与标准图像相比较，以此来计算得到一个校正矩阵。该矩阵就是该图像传感器的颜色校正矩阵。在该图像传感器应用的过程中，及可以利用该矩阵对该图像传感器所拍摄的所有图像来进行校正，以获得最接近于物体真实颜色的图像。

使用 CMOS Sensor 获取图像，光照程度和传感器问题是生成图像中大量噪声的主要因素。同时，当信号经过 ADC 时，又会引入其他一些噪声。这些噪声会使图像整体变得模糊，而且丢失很多细节，所以需要对图像进行去噪处理空间去噪传统的方法有均值滤波、高斯滤波

Black Level 是用来定义图像数据为 0 时对应的信号电平。由于暗电流的影响，传感器出来的实际原始数据并不是我们需要的黑平衡。为减少暗电流对图像信号的影响，采用的方法是从已获得的图像信号中减去参考暗电流信号。一般情况下,在传感器中，实际像素要比有效像素多,像素区头几行作为不感光区，用于自动黑电平校正,其平均值作为校正值，然后在下面区域的像素都减去此矫正值，那么就可以将黑电平矫正过来了。

由于相机在成像距离较远时，随着视场角慢慢增大，能够通过照相机镜头的斜光束将慢慢减少，从而使得获得的图像中间比较亮，边缘比较暗，这个现象就是光学系统中的渐晕。由于渐晕现象带来的图像亮度不均会影响后续处理的准确性。因此从图像传感器输出的数字信号必须先经过镜头矫正功能块来消除渐晕给图像带来的影响。

[1] ISP和摄像头工作原理
[2] 相机自动对焦原理
[3] 图像清晰度的评价指标

第一章 计算机网络概述

1.1计算机网络在信息时代的作用

三网：

1. 电信网络（电话）
2. 计算机网络（因特网、其他网络等）
3. 有线电视网络

1.2因特网概述

1. 概述：

• 网络：交换机将多台电脑连接（如电脑机房）
• 互联网：路由器连接多个网络
• 因特网：全球最大的一个互联网（TCP/IP Suite）

2. 多层次ISP结构的互联网：
   第一层ISP、NAP——> 第二层ISP、大公司——> 第三层ISP ——>本地ISP、公司——>校园网
3. ISP、企业网以及网民

• 各小区、工厂局域网 ——>ISP运营商（电信、网通等）——>电信机房、网通机房、双线机房等（跨运营商传输会变慢，双线机房很有必要）
• 网站——>服务器（托管到机房、阿里云服务器等）

4. 因特网的标准化工作：因特网协会ISOC

1.3因特网的组成

• 核心部分：数据交换方式

1. 电路交换方式：事先建立连接。电话-交换机-电话。
2. 电路交换面向连接：电话-交换机-中继线-交换机-电话
3. 分组交换方式：报文分组（不需要选择好路径，不确定路径）
4. 报文交换 ：不分组直接传送（时间短）

• 边缘部分：客户和服务器
  主机之间的通信方式：

1. 客户服务器方式（C/S）
2. 对等连接方式（P2P）：下载东西不是从一个地方下载，计算机既是客户端，又是服务器、路由器的存储转发功能

1.4计算机网络在我国的发展

持续发展中

1.5计算机网络的类别

1. 作用范围

• 广域网：应用广域网技术，如电脑通过ADSL到运营商然后再去和邻居通信；花钱买服务，花钱买带宽
• 局域网：应用局域网技术，如电脑通过无线交流；自己购买设备，自己维护，带宽固定，距离100米以内
  2.** 使用者**
• 公用网
• 专用网

3. 拓扑结构

• 总线型：计算机用一根线连接
• 环形：计算机接在环上
• 星型：计算机接在交换机上
• 树型：根交换机，分支交换机
• 网状：路由器连的网

4. 交换方式

• 电路交换网
• 报文交换网
• 分组交换网
  5.** 工作方式**
• 资源子网
• 通信子网
• 接入网

1.6计算机网络的性能

1. 速率：数字信道上传送数据位数的速率
2. 带宽：数字信道所传送的最高速率
3. 吞吐量：单位时间所有数据量总和
4. 时延：发送时延、传播时延、处理时延、排队时延
5. 时延带宽积：传播时延×带宽
6. 往返时间：发数据到确认接收的时间
7. 利用率：

• 信道利用率：有数据通过时间/总时间
• 网络利用率：信道利用率加权平均值

1.7计算机网络的体系结构

1. 基本概念

• ISO 国际标准化组织
• OSI/RM 互联网法律上的国际标准
• TCP/IP Suite 因特网事实上的国际标准
• Network Protocols 数据交换遵守的规则、标准或约定
• 网络体系结构 计算机网络各层及其协议的集合

2. OSI 七层

• 应用层：能够产生网络流量能够和用户交互的应用程序（记事本不是应用层）开发人员考虑的问题
• 表示层：加密 压缩
• 会话层：服务和客户端建立的会话 查木马 netstat -nb
• 传输层 可靠传输建立会话 不可靠传输 流量控制
• 网络层：IP地址编址 选择最佳路径
• 数据链路层：数据如何封装 添加物理层地址 MAC地址
• 物理层：规定一些标准 电压 接口

前三层是程序开发人员解决，接下来三层是网络工程师要解决的问题

网络排错：从底层到高层
物理层：网线
网络层：IP地址
应用层：浏览器是不是中了恶意插件

网络安全和OSI参考模型

• 物理层安全：接入同一个交换机的电脑可能别人会接入你的电脑
• 数据链路层安全 ADSL的密码输入才可以打开网络 无线AP密码
• 网络层安全 哪片网络可以通过路由器出去
• 应用层安全 SQL注入漏洞 上传漏洞

3. 开放系统信息交换设计的概念

• 实体
• 协议
• 服务
• 服务访问点

4. 五层协议对应的数据单元

• 应用层：传输数据单元
• 运输层：报文 加协议
• 网络层：数据报 加IP地址 数据包
• 数据链路层：数据帧 加MAC地址
• 物理层：比特0110... 加帧头帧尾

电脑MAC地址是刻在电脑上的，但是可以修改和互联网接入时使用的MAC地址，修改后可以蹭网~
计算机匹配时注意网速也要匹配才能接通 自动协商即可
5.** 虚拟机的网络设置**

参考视频