计算摄影资源汇总

Posted 2022-12-09 Matrix_11

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了计算摄影资源汇总相关的知识，希望对你有一定的参考价值。

计算摄影资源汇总

计算摄影是一个交叉学科，融合了图像处理，光学，信号处理，计算机视觉，计算机图形学，优化，机器学习等各个领域，计算摄影最早在国外的大学里只是一个比较小众的研究方向，比如早期斯坦福大学的光场，相机阵列，以及杜克大学的多光谱成像等，基本还是停留在学术研究阶段，而且比起计算机领域的识别，检测，分割，跟踪等方向来说，计算摄影这块算是比较低调的一个研究方向。

这些年，随着智能手机拍照的兴起，计算摄影也获得了越来越多的关注，因为以前的单反相机，尺寸比较大，所以长焦比拼的都是镜头模组的设计，sensor 的尺寸等，对于图像处理其实并不太关注，但是智能手机由于受到设计尺寸的限制，以及各种约束，sensor 形成的图像质量和单反没法比，为了弥补硬件上的先天不足，所以智能手机的图像处理算法就需要不断的提升，从而促进了计算摄影这个交叉学科的发展。

现在各大手机厂商，多多少少都会用到计算摄影的相关技术，比如大家耳熟能详的超分，降噪，以及 HDR， demosaic，还有白平衡，深度估计，人像虚化等，都是计算摄影的相关技术，谷歌这几年随着自家手机 Pixel 的发展，在计算摄影领域积累了很多的技术，而且谷歌比较良心，基本上还会公开自己的相关技术，造福全人类，我也是 follow 了很多谷歌的 paper，对这个领域慢慢熟悉起来的。

国外研究计算摄影的团队相对国内来说，还是更加成熟，规模也更加大，不过这几年随着整个产业的发展，国内学术界，工业界对这块的关注也越来越多了，相信以后计算摄影这块会越来越繁荣。

相对计算视觉领域的其它方向比如识别，检测来说，计算摄影的门槛还是相对高一些的，主要是计算摄影涉及的知识面很广，而且也比较杂，需要花上一定的时间去慢慢地积累。

下面列出自己比较关注的计算摄影相关的课程资源及研究课题组：

课程资源

计算摄影入门，最好是系统地学习一两门课程，国外计算摄影的课程还是有一些的，比如卡耐基梅隆，麻省理工，斯坦福，布朗大学，加州伯克利等，我觉得这些课程里面， CMU 的计算摄影这门课程还是比较好的，比较系统，而且以及连续几年了，每年都会有些调整，将计算摄影领域的主要方向都有个介绍，最重要的是，这门课程还共享了配套的 PPT 和 PDF，可以收藏起来慢慢学习。

这门课程也给出了其它一些课程的链接，通过这门课程，基本可以对计算摄影从小白到入门了。

CMU 计算摄影：

http://graphics.cs.cmu.edu/courses/15-463/

经典教材

Computer Vision: Algorithms and Applications, by Richard Szeliski.
Multiple View Geometry in Computer Vision, by Richard Hartley and Andrew Zisserman.
Computer Vision: A Modern Approach, by David Forsyth and Jean Ponce.
Foundations of 3D Computer Graphics, by Steven Gortler.
Digital Image Processing, by Rafael Gonzalez and Richard Woods.
Photography, by Barbara London and John Upton.

研究课题组

一旦对计算摄影有了一定的基础知识，了解了计算摄影具体做什么，接下来就可以重点关注一些国内外的研究课题组，时不时地去看看业界大牛都在做什么，通过学习别人的研究，来不断夯实自己在这个领域的基础，下面给出我觉得在计算摄影领域比较有影响力的一些研究课题组。

Michael S. Brown

http://www.cse.yorku.ca/~mbrown/

研究兴趣：ISP 流程，色彩
Michael S. Brown 教授，现在是加拿大 York 大学的一名老师，对 ISP 成像流程有比较深入的研究，他之前做的 tutorial： ICCV 2019 _Tutorial_Understanding Color and the In-Camera Image Processing Pipeline for Computer Vision 对颜色及 ISP 流程有比较详细的介绍，是学习 ISP 流程比较好的一个 tutorial，这个老师对颜色及色彩理论也有研究。

Wolfgang Heidrich

https://vccimaging.org/People/heidriw/

研究兴趣：计算成像，计算机图形学
Wolfgang Heidrich 教授目前是沙特阿拉伯，阿普杜拉国王大学的计算机系的一名老师，对计算成像比较感兴趣，近几年主要对 DOE 及联合优化在做探索。

Felix Heide

https://www.cs.princeton.edu/~fheide/

研究兴趣：计算成像，计算机图形学
Felix Heide 目前是普灵斯顿大学的一名老师，师从 Wolfgang Heidrich，也是最早提出 Flex-ISP 的人，提出用优化的方法来实现端到端的 ISP 成像流程，现在随着深度学习的发展，端到端的实现 ISP 成像已经越来越流行了。

Gordon Wetzstein

https://stanford.edu/~gordonwz/

研究兴趣：计算成像，光场
Gordon Wetzstein 目前是斯坦福大学计算成像实验室的负责人，目前主要是研究计算成像及光场显示技术。

Jon Barron

https://jonbarron.info/

研究兴趣：计算摄影，计算机图形学
Jon Barron 是谷歌计算摄影团队的研究员，谷歌计算摄影团队这几年发表了很多高质量的研究论文，比如 HDR，人像虚化，深度估计，降噪，超分，暗光成像等，而且基本都随着 paper 发布了源码。真是业界良心。

Ren Ng

https://www2.eecs.berkeley.edu/Faculty/Homepages/yirenng.html

研究兴趣：计算摄影，光场成像
Ren Ng 现在是加州伯克利的一名老师，之前光场相机公司 Lytro 的创始人，算是最早做光场成像的一批人，而且也算是最早把光场相机做到消费级的大牛，从斯坦福博士毕业之后，就去创业，创办了 Lytro, 不过好像 2014 年，Ren Ng 就离开了 Lytro 加入了 UBC, 现在 Lytro 也被谷歌收购了，看来牛逼的技术，找不到商业变现，也是不行的。

Marc Levoy

http://graphics.stanford.edu/~levoy/

研究兴趣：计算摄影
Marc Levoy 教授目前是谷歌计算摄影团队的负责人，之前是斯坦福大学的教授，Ren Ng 的导师，也是最早做光场成像的大牛，不过后来去了谷歌，带领了一帮技术牛人，将谷歌的计算摄影一步一步做大，成为业界最顶尖的计算摄影团队，谷歌大概是将单目成像发挥到极致的团队了。Marc Levoy 教授本身也是一个摄影发烧友。