光，影像与计算摄影

Posted 2023-02-04 Matrix_11

光，影像与计算摄影

• 上帝说，要有光，才能创造丰富多彩的大千世界
• 摄影师说，要有光，才能创作让人赏心悦目的影像世界
• 工程师说，要有光，才能打开奇妙的计算摄影之门

我们所处的世界，是一个充满了各种各样的电磁波的世界，我们所说的光，一般主要是指人类能够看到的可见光，以及可见光两端的红外及紫外的一部分，这部分只占整个电磁波谱的一小段，光是一种神奇的东西，它似乎无处不在，你却摸不到。

人类经过漫长的进化，发展出一套神奇的视觉系统，可以感受色彩，可以适应暗光，通过调节瞳孔的大小，还能控制进光量；人眼的视网膜上分布着两种细胞，一种是杆状细胞，这种细胞可以感受微光，暗光，也就是说这种细胞的灵敏度很高，这也是为什么我们在微暗的夜下行走，依然可以依稀分辨道路的原因；另外一种细胞是锥状细胞，这种细胞对强光以及色彩敏感，所以人眼可以感受到各种各样的色彩以及适应明亮的环境。从整个生物体系的角度来看，人类只是整个生物界的一个种群，所以除了人眼之外，还有很多其它生物的视觉系统，比如昆虫的复眼结构，还有的生物可以感受到更宽的光谱。

人类从智人进化到现在，大概有十几万年的时间，人类认识到小孔成像原理，大概有几千年的时间，但是现代的摄影，也就是大概两三百年的历史：

• 1827 年，法国人尼埃普斯通过 8 个小时的曝光，拍摄了历史上第一张可以长久保存的照片，这种用日光将影像永久记录在金属板上的摄影方法叫做日光摄影法 (Heliography)
• 1837 年，法国人达盖尔发明了银版摄影术，曝光时间缩短到了十几分钟
• 1851 年，英国人阿切尔发明人发明了“火棉胶湿”摄影术，又称为湿版摄影术，曝光时间缩短到了几十秒到十几秒
• 1871 年，英国人马多克斯发明了另外一种以玻璃为感光版的摄影方法“明胶干版法”，这种方法用糊状的明胶为材料的溴化银乳剂，趁热涂在玻璃上，干燥时就不会像火棉胶那样发生结晶现象，这种方法又称为干版摄影术，干版摄影术将曝光时间进一步缩短到了几十分之一秒
• 1880 年，美国人乔治.伊斯曼创立了柯达公司，并于 1884 年发明了胶卷
• 1888 年，柯达公司推出了第一款柯达相机
• 1900 年，柯达公司推出普及型照相机布朗尼 (Brownie)
• 1907 年，法国卢米埃尔兄弟推出了第一款彩色底片，从此人类可以方便的进行彩色摄影
• 1913 年，德国人奥斯卡·巴纳克研制出了第一台 35mm 相机，也就是著名的徕卡相机的前身
• 1924 年，德国徕卡公司开始量产徕卡相机，徕卡相机成为 35mm 相机的鼻祖，而徕卡相机也开启了摄影史上的一段辉煌与传奇
• 1925 年，德国蔡司•伊康公司 (Zeiss Ikon) 公司生产出世界上首批平视旁轴取景的 135 照相机，成为摄影史上的里程碑，照相机跨入高级光学和精密机械的技术时代
• 1928 年，德国“弗兰克和海德克”公司生产出一种双镜头反 (双反) 光照相机——罗莱反光照相机，它能拍摄 6cm × 6cm 的方形照片，并能在相机顶部的磨砂玻璃屏上调焦和取景
• 1937 年，美国人兰德创立了宝丽来公司，1947 年，宝丽来推出了世界上第一款即时成像相机，也就是常说的拍立得，风靡全球
• 1948 年，瑞典人哈苏推出了使用 120 胶卷的哈苏相机，1969 年，哈苏相机记录了人类登月的历史性时刻
• 1949 年，蔡司•伊康公司生产的 35 mm 单镜头反光相机“康泰克斯”(Contax) 开创了现代 135 单反相机的基本模式
• 1963 年，美国仙童公司的 Frank.M.Wanlass 发明了 CMOS 电路
• 1969 年，美国贝尔公司的维拉·波义耳和乔治·史密斯发明了 CCD （电荷耦合元件）
• 1975 年，美国柯达公司的工程师史蒂文.沙森造出了世界上第一台数码相机
• 1976 年，美国柯达公司的布莱斯.拜耳发明了 Bayer 阵列，奠定了现在的数码传感器的彩色成像模式
• 1981 年，日本索尼公司发布了第一台真正意义上的数码相机Sony Mavica
• 1986 年，日本尼康公司推出了第一台数码单镜头反射镜相机-Nikon SVC
• 1991 年，美国柯达公司推出了第一款民用单反数码相机柯达 DCS100
• 1997 年，美国 Sound Vision 公司开发了第一台使用 CMOS 传感器的消费级相机，SVmini
• 1999 年，日本尼康公司推出了第一款仅由一家制造商生产的数码相机
• 2000 年，日本佳能公司推出了第一款 CMOS 的单反数码相机，同时，夏普 (Sharp) 联合运营商 J-Phone(现在的软银移动) 推出了全球首款拍照手机 J-SH04，这款手机的摄像头只有 11 万像素，没有自动对焦，没有闪光灯，具有 96 pixel×130 pixel 的 256 色液晶屏，这是第一次手机也开始具备摄影功能
• 2005 年，诺基亚推出 N90，其采用双转轴工业设计，在拍摄方面还采用了卡尔蔡司 (Carl Zeiss)认证镜头，开创了手机厂商与传统光学影像巨头合作的先河
• 2006 年 ， 索 尼 爱 立 信 (Sony Ericsson) 推出K790，其配有 320 万像素的摄像头，同年，三星
  (Samsung) 推出了 SCH-B600，首次将摄像头像素提高到了千万量级
• 2007 年，史蒂夫·乔布斯 (Steve Jobs) 在 Macworld 2007 大会上发布了第一代 iPhone
• 2008 年，日本松下公司推出了第一款 “微单” 相机，开启了无反相机的时代
• 2010 年，美国苹果公司推出了 Iphone 4，开启了手机摄影的新时代

可以看到，影像的发展也经历了几个阶段，从大型感光设备到胶卷，再到 CCD，CMOS，感光 sensor 可以越做越小，同时镜头模组也可以越做越小，而工程师们也从光化反应，转向了光电反应。

随着移动互联网的兴起，大家越来越习惯在手机上分享照片，视频，手机摄影也随之进入了蓬勃发展的黄金十年，各大手机厂商，从以前老牌的诺基亚，摩托罗拉，索尼爱立信，到如今的手机霸主苹果，三星，以及逐渐成长起来的国产手机厂商 OppO, VIVO, 小米，还有从定制贴牌机一路做到可以与三星苹果叫板，却又因为芯片制裁再次陷入低谷的华为，这些手机厂商将手机摄影一次又一次地推向新的高度，一次又一次地刷新普通消费者的认知。镜头越来越多，从单摄，到双摄，到三摄甚至多摄；从标准镜头，到广角，到长焦；还有从可见光，到红外，多光谱；还有结构光，TOF 各种各样的传感器。

数码单反，由于没有太多硬件尺寸的限制，所以工程师们更多的是在硬件层面发力，打磨像差更小的完美镜头，用更大尺寸感光度更好的 sensor；而手机摄影，由于硬件尺寸的限制，手机本质上是一个移动智能硬件，留给镜头模组，sensor 的空间并不多，所以手机的镜头模组与单反相比，尺寸上要小很多，光圈，焦距，通光量，成像质量都没法比。而且 sensor 就更差别大了，数码单反里面有全画幅的 sensor，摄影界常说的 “底大一级压死人”，就是说 sensor 的 pixel size 大了，信噪比，动态范围，感光能力都有很大的提升，而手机的 sensor 连一英寸都到不了，与单反相比，那真是小巫见大巫。不过手机里面有相对强悍的计算能力，所以既然硬件不行，那就用算法来弥补，手机摄影，大大促进了计算摄影的发展。

手机的计算摄影，同样经历了几个阶段，早期的手机运算能力较弱，只能实现一些简单的图像处理算法，所以早期的手机摄影，可以看到明显的粗糙感，和美学是完全没有关系的，随着手机芯片制程的提升，从十几纳米，到十纳米，现在最好的手机芯片可以到 5 纳米，甚至 3 纳米，这意味着手机的运算能力有了质的飞跃，很多复杂的图像处理算法都可以支持了，这个时候，计算摄影才是真正的爆发了。可以看到近些年手机在夜景，人像虚化，高动态，超分等方面的成像效果不断提升，特别是随着深度学习的兴起，越来越多的手机厂家将深度学习引入图像处理任务，在某些场景下甚至能达到与单反想媲美的程度。

谷歌在手机计算摄影领域一直都是先行者，虽然谷歌的 Pixel 系列手机本身的销量不大，但是谷歌的计算摄影团队却一次又一次地向业界呈现令人惊叹的算法创新。可以说是开创了手机计算摄影的先河，让后来者一路跟随。

如今，计算摄影在学术界和工业界受到了越来越多的关注，大家都在思考一个问题，算法能无限逼近硬件带来的鸿沟吗？虽然现在的很多手机在一般场景下基本都能满足普通消费者的拍摄需求；但是对于专业的，对摄影质量要求更高的消费者来说，认为手机与单反还是存在较大的差距。所以大家都在期待，能把单反真正的装进手机的那一天。