Warm up - Paper Notes

Posted 2022-04-16 hugegun

paper notes

learning to See in the Dark:

·直接从bayer raw做起，避免复杂的sRGB转换过程使信息丢失

·将分阶段的pipeline合在一起训练，避免噪声在后处理中的放大

·使用多个通道的输出拼接来代替翻卷积或差值，避免棋盘格？推广到非整数倍上采样？

·数据用相机拍。。。好像很牛

·用CAN会出现色偏，用U-net就很好

Burst Denoising with Kernel Prediction Networks：

·处理±2像素偏差的一系列数据

·高斯+泊松噪声模型：

\(X_p\sim N(y_p,\sigma^2_r+\sigma_sy_p)\)

\(\sigma_p=\sqrt\sigma_r^2+\sigma_smax(x_p,0)\)

·loss：\(L_2\)+退火 ->\(L_1+SSIM\)

·并非生成最终图片，而是生成N个K×K的去噪kernel，然后再卷积上原图，因为原图很多种多样，而噪声模型固定。

HDR+：

·直接从bayer raw做起，避免复杂的sRGB转换过程使信息丢失

·刻意欠曝光以防止像素过饱和

·获取一系列多帧图像作为数据

·用一系列手动标定数据来指定再每个场景下拍摄照片需要的曝光时间(long/short)

·在前3张图中选取最清晰的作为参考图像

·raw->灰度图，用灰度图来对齐

分治对齐，最小化：

\(D_p(u,v)=\Sigma^n-1_y=0\Sigma^n-1_x=0|T(x,y)-I(x+u+u_0,y+v+v_0)|^p\)

使用滑动窗口(box filter)+FFT优化

·\(D_2(u,v)\approx \frac12[uv]A[uv]+b^T[uv]+c\)

最小二乘：\(\mu=-A^-1b\) (μ为亚像素偏移)

·时域融合，看不懂

·ISP处理：

1. 暗电流扣除

2. 镜头阴影校正
3. 白平衡
4. 去马赛克
5. 彩色去噪
6. 颜色校正
7. 动态范围压缩
8. 去雾
9. 全局色调调整
10. 色差校正
11. 锐化
12. 特定色调颜色调整

13. dithering

Deep Joint Demosaicking and Denoising：

·直接从bayer raw做起，将分阶段的pipeline合在一起训练

·数据由处理之后的图片经采样得到raw

·表现不好的数据拿来retrain