《硅谷》里神乎其神的压缩技术，AI正在一点点做出来

Posted 2020-10-19

好剧总是追的特别快，比如说我们熟悉的黄暴神剧《硅谷》，今年该迎来第五季了。

这部剧里让人印象深刻的东西很多，而剧里几个主角发明的创业神器、号称能改变世界命运的“魔笛手”绝对是其中之一。

给没看过这部剧的朋友介绍一下，所谓的“魔笛手”是剧中主角发明的压缩算法。本来这个东西是他们用来打造音乐网站的，结果后来这个技术被证明可以把文件无损压缩到极小，并且速度极快，从而引出了令人无法直视的各种剧情。

据说在写剧本之初，主创人员曾经想过写一种什么技术，能让观众马上懂得其意义，又跟真正的技术世界比较贴合。最终他们发现，压缩是最好的选择。因为差不多每个人都知道文件越小越好，如果主角搞出来一个能让数据无限存储的东西，那当然就赚大了。

事实上，人类跟数据的无损压缩这件事，已经硬杠了几十年。成熟的压缩技术，已经通过互联网变成了大多数人的日常用品。但尽管如此，压缩这件事始终没有走到终点，《硅谷》里那种神一样的压缩技术，依旧是我们渴望而不可及的。

但在今天，人工智能开始把压缩这件事放在自己的任务栏里，并且一步步对《硅谷》里的“魔笛手”发起挑战。

折腾了半个世纪的无损压缩

我们日常在对压缩的主要需求，被称为无损压缩。它可以将文件变小，然后再通过某种方式还原出来正常使用。虽然今天这听起来很普通，但其实人类已经为它折腾了50多年。

当然，发现数据应该压缩后再进行传输和存储，是更早之前的事情。从19世纪的摩斯电码时代人类就已经发现了，很多数据中的无效部分是可以被归类和省略的，从而可以换取更快的传输速度和更少的存储空间。

这可以说是一种符号世界里的常识，比如说一个人跟另一个人说“老地方见”，那么就意味着他们把这句话中的地址信息在彼此都了解的情况下进行了压缩，从而缩短了讲话时间。

类似道理的压缩技术很早就应用在计算机世界，在大型机当道的时候其价值已经被证明。但真正压缩开始流行，还是在互联网飞黄腾达之后。

1977年，是无损压缩这件事跨时代的一个年份。这一年，以色列海法理工学院的科学家Abraham Lempel 和 Jacob Ziv联合发表了一种压缩算法，以两人名字共同命名为LZ算法。这一年发布的技术被称为LZ77。第二年，两人又发布了改进版的LZ78。此后所有无损数据压缩技术，差不多都是从这两种演化而来。

另一个无损压缩的时代，开始在八十年代末。

这个时候，随着互联网开始腾飞，各种商业压缩软件已经成熟，但还缺少能独大的那一家。

当时流行的压缩软件叫做Arc，后来一个名叫Phil Katz的年轻人突发奇想之下，希望能够做个更好的版本。于是，这个之后被称为互联网天才和第一代极客的大牛做了名字充满挑衅意味的PKArc。结果1988年，Phil Katz被告侵犯商标和知识产权。于是第二年他又做了新的修改版，用了新的IMPLODE算法，也就是我们今天无比熟悉的ZIP。

遗憾的是，这位无损压缩的时代人物没有逃脱老天对天才的妒忌。伴随着严重的妄想症、抑郁症和酗酒，他37岁就离开了人世。但是ZIP却统治了压缩世界的话语规范，直到今天。

人工智能正在改变压缩

在相当长的一段时间里，压缩都被认为是无需再进行改善的东西。但随着新终端、新的存储方式到来，人类又一次对压缩提出了新的要求。

就像《硅谷》里说的那样，移动互联网和云计算的加持下，人类正在以几何增长的速度制造新数据，这些数据可能很快就会没有地方存储。既然大家都不想删除文件，那么只能寄希望于文件变小一点了。

《硅谷》里所谓的魔笛算法，一度引发了不少跟风打造属于自己的“魔笛”，但是效果普遍没有剧里那么犀利。

最终这个任务，很可能还是要落在人工智能的头上。

2016年，谷歌相关团队推出了一款叫做RAISR（Rapid and Accurate Image Super-ResoluTIon）的图像压缩技术。这个解决方案就是以人工智能技术作为压缩路径，效果能达到将图片压缩到源文件的1/4， 却基本不改变图片的清晰度。

能达到这种效果的诀窍，在于给机器学习输入大量的图片压缩数据。让智能体去学习图片压缩的模式，从而创建符合每个图片要求的滤波器。由此产生的压缩后图片只是被忽略了数据细节，却保留了能够让人眼识别的部分。

在极大程度压缩文件的同时，这种技术还能提升文件压缩速度。主要用来提供移动端的图像传输和浏览效率，让用户获得更好的图片观看体验。

谷歌发布的AI+压缩技术应用在图片领域，而一些新的方案，正在把AI向通用压缩领域扩张。

在一篇斯坦福大学相关团队最近发布的论文中，阐释了一种被称为DeepZip的压缩方式。顾名思义，这种技术将深度学习和压缩融合在了一起，希望利用AI技术获得更好的压缩体验。

这篇论文里，研究者阐释了利用RNN，即循环神经网络技术进行文件压缩的方式。所谓RNN，是一种深度学习中的经典神经网络技术。形象一点解释，这种神经网络框架就好比让一个人拥有了一定的知识基础再去学习下一个知识，往复循环形成对长期记忆的理解能力。

研究者发现，使用RNN技术可以明显改善内部有依赖关系文件，比如图像、视频、文本文档的压缩效率。很可能是我们进一步提升压缩效率，化大为小的突破口。

总而言之，不同的AI技术正在尝试从前所未有的角度撬开无损压缩的大门，希望能像电视剧里那样，搞出一个质变来。

今天的世界，确实在期待更好的压缩

那么到底为什么一定要有更好的压缩方式呢？或者说即使有了这种技术，是不是真正能像《硅谷》里描述的那样改变世界呢？

这要从到底哪些方向需要压缩的技术变革来看。

首先，对于剧中所描述的“数据末日”，产业界有各种各样的看法。有人认为人类的数据量确实在爆炸，很可能面临存储瓶颈，从而引发社会对数据空间的争夺。但也有人认为，更大的云空间也在不断建设中，数据量很可能永远也追不上不断扩大的云空间。

孰是孰非不好定论，关于压缩技术的进步，更多人认为是和移动设备、可穿戴设备以及物联网设备的普及化相关的。这些设备都对数据传输的速率有要求，速度越快体验越好。那么压缩能力的进化，显然可以增强这些联网设备的工作能力，尤其是对于物联网设备来说。

但最有可能的需求，是来自于那些新技术风口。

比如VR、无人驾驶的高精地图、基因图谱数据，以及深度学习所使用的训练数据集，这些文件都比我们日常接触的互联网数据大上很多。随着VR、无人驾驶、人工智能这些东西一步步产业化、日常化，对它们的传输、保存和使用需求也在不断扩大。而且这些都是高精度文件，对压缩的效果和质量也提出了新要求。

所以，高精度、高速率的压缩解决方案正在被热切渴望着。甚至可能成为未被重视的巨大市场。用AI压缩来满足AI的需求，可能是接下来我们会见到的常态。