深度解读Coatue：向加密行业转舵的「老虎环球基金」

Posted 2023-04-12 Odaily_

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了深度解读Coatue：向加密行业转舵的「老虎环球基金」相关的知识，希望对你有一定的参考价值。

Coatue就像一座金融建筑，展现了工匠大师的用心和艺术家的本能。

本文来自 readthegeneralist，原文作者 | The Generalist 创始人、主编 Mario Gabriele

译者 | Moni

出品 | Odaily星球日报（ID：o-daily）

不管是传统投资领域，还是新兴的加密投资行业，几乎没有人不知道 Coatue Management。

在 NFT 市场 OpenSea 的 3 亿美元融资、支付公司 Silverflow 的 1700 万美元 A 轮融资、Web 3 人才网络 Braintrust 的 1 亿美元融资、精灵宝可梦背后 AR 公司 Niantic 的 3 亿美元融资、以及金融科技公司 Upgrade 的 2.8 亿美元融资交易里，Coatue 都扮演了领投方的角色。今天，就让我们一起来深入了解下这家投资巨头吧。

从计算机转向投资的“隐士”

在金融历史上，有许多金融公司都是由兄弟一起创办的：雷曼兄弟、所罗门兄弟、拉扎德兄弟、哈里曼兄弟和布朗兄弟等，他们都成为了华尔街的神话。尽管 Coatue Management 由 Philippe Laffont 和 Thomas Laffont 两兄弟运营，但却没有以他们的名字来命名。

Philippe Laffont 和 Thomas Laffont 两兄弟出生于比利时，年轻时候的大部分时光是在法国度过的。Philippe Laffont 比 Thomas Laffont 大两岁，他形容自己像是一位隐士，尤其是在他十几岁的时候。他说：

“我十六岁的时候非常宅，而且父母也不让我出去玩。”

不过，Philippe Laffont 并没有闲着，他的所有空闲时间都用来研究自己痴迷的计算机技术了。事实证明，在计算方面的兴趣助了他一臂之力——他在 1985 年成功申请到了麻省理工学院。次年，Thomas Laffont 就跟随他的哥哥来到美国，在纽约法语学校完成了他的高中学业。Philippe Laffont 从麻省理工学院拿到了计算机科学硕士学位，并在毕业后就职于麦肯锡的马德里办事处。值得一提的是，在加入麦肯锡之前，他曾三次应聘于苹果公司，不过均未成功。对于 Philippe Laffont 来说，在西班牙工作有一个好处，那就是他可以与妻子安娜·伊莎贝尔·迪兹·德·里维拉呆在一起了，安娜是一名律师，其家族在西班牙颇具影响力。

两年后，Philippe Laffont 在麦肯锡的合同即将到期并准备返回美国，但他的妻子安娜却想要留在家乡。最终他们达成了妥协，Philippe Laffont 决定到安娜的家族企业工作一年。回顾这段经历，其实对他来说是非常重要的。然而在当时，Philippe Laffont 却很消沉，因为他被分配到了办公室，整体无所事事，为了打发时间开始每天阅读《先驱论坛报》。

很快，Philippe Laffont 便对股票产生了浓厚的兴趣。他通过每天阅读《先驱论坛报》来观察市场的变化。不久之后，他便开始小试牛刀，挑选了一些他看好的蓝筹科技公司来投资。Philippe Laffont 的早期投资组合中包括了微软、英特尔和戴尔。尽管当时 Thomas Laffont 身处加利福尼亚，但他也参与了投资行为，两兄弟会经常探讨关于投资的想法。

90 年代中期，像微软这样的科技公司开始大幅升值，这不禁让兄弟俩信心满满。连 Philippe Laffont 自己都开始搞不清楚究竟是他们的运气太好了还是他们的投资技巧厉害，他曾表示，假如没有碰上这个黄金时代的话，两兄弟“肯定就放弃投资转而做其他事情了。”

用2分钟争取到老虎环球基金的职位

在办公室呆了一年之后，Philippe Laffont 和安娜就搬到了美国，不过 Philippe Laffont 并没有来到硅谷工作，而是选择在华尔街大展身手，他先是在一家共同基金公司谋得了一个无薪职位，不过没过多久他就获得了升迁。在一次会议上，Philippe Laffont 遇到了对冲基金公司老虎环球基金创始人朱利安·罗伯逊 (Julian Robertson)。

和最初在苹果公司的求职经历一样，Philippe Laffont 一开始也是被拒绝的，鉴于他在麻省理工学院的学习经历，他的简历被自动发送到了老虎环球基金的 IT 部门，不过对方以“没有空缺职位”的理由拒绝了他。然而谢天谢地，另一扇门向他打开了。据 Philippe Laffont 回忆说，朱利安·罗伯逊给了他一个机会，当时他只有两分钟的时间来为自己争取，于是非常直截了当地告诉朱利安·罗伯逊他想要一份为老虎环球基金挑选科技股的工作，并在面试中给朱利安·罗伯逊留下了非常深刻的印象。于是，朱利安·罗伯逊将他介绍给了自己的技术团队。最终，Philippe Laffont 通过了他们的筛选，获得了这家传奇公司的职位。

很快，Philippe Laffont 决定出来单打独斗。1999 年，他创办了 Coatue Management。

曾应聘苹果被拒，靠投资苹果赚翻

与朱利安·罗伯逊的经历非常相似，Philippe Laffont 从单打独斗开始逐步建立起了他的金融帝国。1999 年，Coatue Management 刚创立时，其管理资产 (AUM) 仅为 1500 万美元，但现在管理资产已达到 700 亿至 900 亿美元之间。

Philippe Laffont 和他的导师罗伯逊一样，操作手法非常简单：收购最好的公司、做空最差的公司。而且，Philippe Laffont 尤其关注新一代的“消费技术公司”。就在许多同行只关注公司的短期走势时，Philippe Laffont 却着眼于寻找可持续性发展的公司，他认为耐心和长远考量就是自己的优势。

就在1999 年 12 月，Coatue刚成立时，纳斯达克综合指数停留在 4,000 点。到了 2000 年 3 月，指数冲上了 5,000 点。随后，泡沫破灭了。

互联网泡沫的破灭引发了科技股的崩盘。到 2002 年底，纳斯达克综合指数在 1,200 点上方徘徊。而 Coatue 创立的前三年恰巧赶上了市场下跌超过 75%。不过值得一提的是，Philippe Laffont 经受住了风暴，显现出了在逆境下的管理能力，吸引到了更多的投资者。

次年，Thomas Laffont 也加入到 Coatue。自从中学毕业后，他就走上了一条截然不同的道路。自耶鲁大学毕业后，Thomas Laffont 就前往 CAA 加利福尼亚州比佛利山庄办公，并一路升迁，在该机构的六年时间里，他为天才经纪人 Bryan Lourd 工作，Bryan Lourd的客户包括 George Clooney、Ryan Gosling、Scarlett Johansson、Paul Thomas Anderson 和 Lady Gaga。尽管 Thomas Laffont 自己也成为了一名经纪人，但没有比与自己兄弟一起经营一家优秀的投资公司更好了。

与 Tiger Global 的 Scott Shleifer 一样，Coatue 非常看好中国科技公司。2004 年，Coatue以 IPO 价格投资腾讯。当时，市场对腾讯的估值还不到 10 亿美元。然而时至今日，腾讯的市值已经达到了 5900 亿美元。

Coatue 的另一个关键性投资是对于苹果公司的。有 Coatue 员工指出，“Philippe Laffont 在苹果公司上赚的钱可能比任何人都多。”回想当年在苹果公司求职被拒的经历，Philippe Laffont 感慨万分，如今他通过另一种方式得到了自己想要的东西。

Coatue的投资“剧本”

通过分析 Coatue 的投资策略，我们可以了解他们是如何寻找、评估、赢得并支持投资交易的。

1、寻找投资标的

与老虎环球基金不同，Coatue 似乎不想将私营科技行业纳入投资索引，而是寻找适合一个或多个“宏观趋势”的投资。对于 Coatue 比较关注的投资领域，一位了解该公司的消息人士强调了几个例子，比如：

通过 Web 3 出现的新商业模式；
兴起的创客经济；
将传统线下业务引入线上的工具；
食物配送革命；
电子商务赋能……

看看 Coatue 在过去几年的投资，我们可以看到投资组合如何映射到这些大趋势，如下图所示：

当然，其中一些初创公司可能被归入到多个领域类别，但无论如何，Coatue 比许多其他基金更了解他们在寻找什么。

2、评估投资标的

在大多数情况下，Coatue 会在内部评估投资标的，这与老虎环球基金有很大不同。众所周知，老虎环球基金将其大部分评估和研究外包给贝恩公司，从而腾出投资时间专注于资金分配。

一位消息人士指出，Coatue 非常关注总可寻址市场 (TAM)，还会深入挖掘细节。例如，在分析像 Datadog 这样的业务时，Coatue 不仅仅关注云监控软件的市场，还会仔细分析类似产品的产品附加率，并检查部门预算的部署方式——这与其他投资公司非常不同。

3、赢得投资交易

Coatue 在争取投资交易时候有一些“武器”，最重要的有以下四个：

通过 Mosaic 获得独特的数据分析；
有影响力的人脉关系；
令人惊叹的宣传力度；
灵活的定价。

4、支持被投企业

赢得投资之后，Coatue 的参与并没有结束，而老虎环球基金通常不会干涉他们所投资的公司，但 Coatue 则希望在主动支持与自由度之间取得平衡，他们会占据投资标的公司董事会的席位，并被视为一个敬业的、对创始人友好的贡献者。一位 Coatue 投资组合创始人表示，Coatue 取得了很好的平衡，既能提供帮助，又不会陷入爱管闲事的境地。除了参与治理之外，Coatue 还利用其数据能力来支持旗下投资组合。Philippe Laffont 的人脉关系也非常广，一位消息人士以该公司与投资者社交网络 CommonStock 的合作为例。据报道，在领投了 A 融资之后，Philippe Laffont 向 WhatsApp 群组里数十名亿万富翁投资者发送了一条消息向他们介绍 CommonStock 这项服务。

“可怕”的企业文化

在研究 Coatue 时，有一个问题多次出现且不容忽视，那就是：激进的内部文化。尽管人们对 Coatue 的团队和领导层说了很多好话——我们也会讨论这些——但似乎从高层开始，这家投资机构存在不少管理问题。

1、领导层

Coatue公司高层有三个人，分别是是 Philippe Laffont、Thomas Laffont 和 Daniel Senft，在某些方面，每个人的性格都反映在他们建立的组织中。

Coatue 的创始人 Philippe Laffont 就是如此，正如他的教育背景所表明的那样，Philippe Laffont 对数字有着与生俱来的天赋，他可以以令人毛骨悚然的技巧分析和回忆大量数据集。一位消息人士说：

“他记得你给他的每一个号码，即使你五年前给他的。”

不仅如此，Philippe Laffont 真正擅长的是在他的职业生涯中创造并抓住最好的投资机会，比如他会在苹果、腾讯和字节跳动等突破性热门产品上加倍下注，更知道在何时撤退。

相比之下，Thomas Laffont 是两人中更和蔼可亲的一个，有人形容他“非常有魅力”。也许正因为如此，Thomas Laffont成功建立了一个令人印象深刻的人脉网络并吸引 Snap 和 Spotify 等公司，他往往是一个大局思考者，有时擅长扮演魔鬼的拥护者，有时则会在共识意见中戳破洞。

然而，尽管 Thomas Laffont 的情商比 Philippe Laffont 高，但有时依然脾气很坏，一位消息人士称这两个 Laffonts 都“非常可怕”。

除了这三人之外，Coatue 还有其他几个关键人物，其中该公司的私人市场团队似乎收到过不少好评，尤其是受到外部各方的欢迎。一位投资组合创始人特别赞扬了 Matt Mazzeo，指出他对业务的积极贡献，Matt Mazzeo 拥有令人难以置信的产品思维，也是该领域世界上最好的人才之一；另一个是Caryn Marooney，一位消息人士指出，她对投资组合公司 Notion 非常重要，Caryn Marooney 在 Facebook 担任传播副总裁的经历，让她特别容易在信息管理行业领域找到最佳投资标的。

2、侵略式的管理模式

如上所述，Coatue 的一些领导者赢得了良好的声誉。然而，总的来说，该公司似乎允许一种侵略、密集的企业文化。

也许，这是 Coatue 的 DNA 使然。

Philippe Laffont 并不像是这个时代的投资人，他可能经历过一种傲慢的管理风格，在之前的一次采访中，他几乎兴高采烈地谈到了华尔街生活中的“激素”。毫无疑问，Philippe Laffont 是一个在竞争环境中茁壮成长的人。实际上，从 Philippe Laffont 的性格就可以理解 Coatue 的工作强度——没有汗水就没有成功，最好的团队往往需要非常努力工作。

一位前员工回忆起他们在公司工作经历时说：“许多人都被当众骂过……而且经常发生，这种感觉真的非常尴尬。” 有时，Thomas Laffont 在进行批评员工之前还会通过 Zoom 召集下属，这种状况会让一些员工留下了挥之不去的坏印象。“每次听到 Zoom 那个铃声，我的心都会开始跳动，”消息人士说道。

Coatue 失去了许多有才华的投资者，而那些留下来的人似乎也没有得到较好的发展机会。

“Coatue 没有带教导师计划，”一位消息人士说。考虑到 Philippe Laffont 与老虎环球基金的历史，这种管理模式感觉特别令人失望。

当然，对许多人来说，获得投资机会是值得的。虽然 Thomas Laffont 会在 Zoom 电话会议上毫不留情地批评员工，但他会提供不错的投资机会。Thomas Laffont 说道：“我仍然是充满了正能量……也会告诉创业者可以在哪里赚钱。”

敢于实验

尽管 Coatue 的文化中有一些元素需要改进，但有一个方面几乎是完全令人钦佩的：他们愿意尝试新领域。在这方面，Philippe Laffont 选择了一种类似于创业公司的模式，这与许多投资机构有所不同。传统资产管理公司通常比较“迂腐”，也缺乏灵感，但 Coatue 进行了创新，一位前员工中肯地评论说：“大家可能没有注意到一点，Coatue 非常敢于尝试、实验，而这点似乎没有太多人关注，也没有得到足够赞誉。

或许在未来几年，这种 DNA 将会给 Coatue 带来帮助，虽然越来越多人觉得 Coatue 会变得向老虎环球基金，但其实并非如此，我们也许会看到他们创建出一套“主题 ETF”的东西，跨越私人投资市场和公共投资市场。如今，我们已经看到 Coatue 在金融科技和气候等重点领域里推出了 SPV，那么为什么他们不能对加密、医疗保健和企业软件做同样的事情？

加密货币行业蕴藏着巨大机会，非常适合投资，通过一系列成功押注，Coatue 已经在加密生态系统中确立了自己的地位，而且也产生了巨大的影响力。加密行业拥有大量公开可用的数据，但很少有能提供有价值分析的产品。此外，尽管市场非常不同，但在管理代币时，拥有交易公共资产的经验可能会对 Coatue 有所帮助。

然后遗憾的是，参与过许多加密投资的人如今已经离开了 Coatue，比如 Kris Frederickson、Matthew Mizbani，后者如今依然活跃在加密行业中并成为了 Paradigm Capital 合伙人，其他离开 Coatue 的人如下图所示：

就目前而言，Coatue 可能需要配备一些人员并为人才提供更好的环境和补偿，尽管如此，Coatue 在市场重塑和改造自身以适应创新方面做得非常出色。

总结

“Largeness”（庞大）和“Greatness”（伟大）听起来不像是同义词，但 Coatue 有时感觉像是在试图将这两个词整合在一起——的确，Coatue 规模很大，同时也很想“成就伟大”。

在投资领域里的几乎所有方面，Coatue 的成绩都是值得肯定的。很少有投资机构能够构建出如此复杂的属性组合，一家卓越的对冲基金催生了一种成长型投资实践，同时又利用强大的数据科学能力将各种投资组合结合在一起，使它们能够一起工作和思考。从整体上看，Coatue 就像是一座金融建筑，展现了工匠大师的用心和艺术家的本能。无论如何，Coatue 做的很棒，他们每次赢得的投资交易都证明了这一点。

不容错过的往期精彩

优质的推送带来深刻的思考

给 Odaily 标星，让你先与众不同

[人工智能-深度学习-25]：卷积神经网络CNN - CS231n解读 - 卷积层详解

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：[人工智能-深度学习-25]：卷积神经网络CNN - CS231n解读 - 卷积层详解_文火冰糖（王文兵）的博客-CSDN博客

第1章卷积神经网络概述

第2章卷积核的局部连接性：卷积核与输入数据体之间的连接方式

第3章卷积层的输出方式

3.1 概述参数概述

第4章参数共享

第1章卷积神经网络概述

卷积层是构建卷积神经网络的核心层，它产生了网络中大部分的计算量。

首先讨论的是，在没有大脑和生物意义上的神经元之类的比喻下，卷积层到底在计算什么呢？

卷积层的参数是有一些可学习（不是固定值，而是W，B参数，是通过反向求导来修正的）的滤波器集合构成的。

每个滤波器在空间上（宽度和高度）都比较小，但是深度和输入数据一致。

举例来说，卷积神经网络第一层的一个典型的滤波器的尺寸可以是5x5x3（宽高都是5像素，深度是3是因为图像应为颜色通道，所以有3的深度）。在前向传播的时候，让每个滤波器都在输入数据的宽度和高度上滑动（更精确地说是卷积），然后计算整个滤波器和输入数据任一处的内积。当滤波器沿着输入数据的宽度和高度滑过后，会生成一个2维的激活图（activation map），激活图给出了在每个空间位置处滤波器的反应。

直观地来说，网络会让滤波器（卷积核）学习到当它看到某些类型的视觉特征时就激活，具体的视觉特征可能是某些方位上的边界，或者在第一层上某些颜色的斑点，甚至可以是网络更高层上的蜂巢状或者车轮状图案。

在每个卷积层上，我们会有一整个集合的滤波器（比如12个），每个都会生成一个不同的二维激活图。将这些激活映射在深度方向上层叠起来就生成了输出数据。

以大脑做比喻：如果你喜欢用大脑和生物神经元来做比喻，那么输出的3D数据中的每个数据项可以被看做是神经元的一个输出，而该神经元只观察输入数据中的一小部分，并且和空间上左右两边的所有神经元共享参数（因为这些数字都是使用同一个滤波器得到的结果）。

现在开始讨论神经元的连接，它们在空间中的排列，以及它们参数共享的模式。

第2章卷积核的局部连接性：卷积核与输入数据体之间的连接方式

局部连接：在处理图这样的高维度（三个维度，每个维度的size很大）输入时，让每个神经元都与前一层中的所有神经元进行全连接是不现实的（导致过多可调参数，每个连接就是一个参数）。

相反，我们让每个神经元只与输入数据的一个局部区域连接，而不是与所有的输入相连。

该局部连接的空间大小叫做神经元的感受野（receptive field），它的尺寸是一个超参数（其实就是滤波器的空间尺寸）。

在深度（通道）方向上，这个连接的大小总是和输入量的深度相等。

需要再次强调的是，我们对待空间维度（宽和高）与深度维度是不同的：连接在空间（宽高）上是局部的，但是在深度上总是和输入数据的深度一致。

备注：这里的深度，不是输出深度，即卷积核神经元的个数；而是指输入深度，神经元W矩阵的深度。

例1：假设输入数据体尺寸为[32x32x3]（比如CIFAR-10的RGB图像），如果感受野（或滤波器尺寸）是5x5，那么卷积层中的每个神经元会有输入数据体中[5x5x3]区域的权重，共5x5x3=75个权重（还要加一个偏差参数）。注意这个连接在深度维度上的大小必须为3，和输入数据体的深度一致。

例2：假设输入数据体的尺寸是[16x16x20]，感受野尺寸是3x3，那么卷积层中每个神经元和输入数据体就有3x3x20=180个连接。再次提示：在空间上连接是局部的（3x3），但是在深度上是和输入数据体一致的（20）。

左边：

红色的是输入数据体（比如CIFAR-10中的图像），蓝色的部分是第一个卷积层中的神经元。

卷积层中的每个神经元都只是与输入数据体的一个局部在空间上相连，但是与输入数据体的所有深度维度全部相连（所有颜色通道）。在深度方向上有多个神经元（本例中5个），它们都接受输入数据的同一块区域（感受野相同）。至于深度列的讨论在下文中有。

右边：

神经网络章节中介绍的神经元保持不变，它们还是计算权重和输入的内积，然后进行激活函数运算，只是它们的连接被限制在一个局部空间。

第3章卷积层的输出方式

3.1 概述参数概述

上章讲解了卷积层中每个神经元与输入数据体之间的连接方式，但是尚未讨论输出数据体中神经元的数量，以及它们的排列方式。

有3个超参数控制着输出数据体的尺寸：

深度（depth），步长（stride）和零填充（zero-padding）。

下面是对它们的讨论：

首先是输出数据体的深度，它是一个超参数：它和使用的滤波器的数量一致，而每个滤波器在输入数据中寻找一些不同的东西（不一样的特征）。举例来说，如果第一个卷积层的输入是原始图像，那么在深度维度上的不同神经元将可能被不同方向的边界，或者是颜色斑点激活。我们将这些沿着深度方向排列、感受野相同的神经元集合称为深度列（depth column），也有人使用纤维（fibre）来称呼它们。
其次是步长：在滑动滤波器的时候，必须指定步长。当步长为1，滤波器每次移动1个像素。当步长为2（或者不常用的3，或者更多，这些在实际中很少使用），滤波器滑动时每次移动2个像素。这个操作会让输出数据体在空间上变小。
在下文可以看到，有时候将输入数据体用0在边缘处进行填充是很方便的。这个零填充（zero-padding）的尺寸是一个超参数。零填充有一个良好性质，即可以控制输出数据体的空间尺寸（最常用的是用来保持输入数据体在空间上的尺寸，这样输入和输出的宽高都相等）。

3.2 卷积层输出尺寸计算

卷积层输出尺寸是有多种因素决定的：输入图片的大小、卷积核的大小、卷积核的深度（个数）、卷积移动的步长。

假设输出数据体在空间上的尺寸可以通过输入数据体尺寸（W），卷积层中神经元的感受野尺寸（F），步长（S）和零填充的数量（P）的函数来计算。（译者注：这里假设输入数组的空间形状是正方形，即高度和宽度相等）输出数据体的空间尺寸为：(W-F +2P)/S+1。

比如输入是7x7，滤波器是3x3，步长为1，填充为0，那么就能得到一个5x5的输出。如果步长为2，输出就是3x3。下面是例子：

空间排列的图示。

在本例中只有一个空间维度（x轴），神经元的感受野尺寸F=3，输入尺寸W=5，零填充P=1。

左边：神经元使用的步长S=1，所以输出尺寸是(5-3+2)/1+1=5。

右边：神经元使用的步长S=2，则输出尺寸是(5-3+2)/2+1=3。

注意当步长S=3时是无法使用的，因为它无法整齐地穿过数据体。从等式上来说，因为(5-3+2)=4是不能被3整除的。

本例中，神经元的权重是[1,0,-1]，显示在图的右上角，偏差值为0。这些权重是被所有黄色的神经元共享的（参数共享的内容看下文相关内容）。

（1）使用零填充：

在上面左边例子中，注意输入维度是5，输出维度也是5。之所以如此，是因为感受野是3并且使用了1的零填充。如果不使用零填充，则输出数据体的空间维度就只有3，因为这就是滤波器整齐滑过并覆盖原始数据需要的数目。一般说来，当步长时，零填充的值是，这样就能保证输入和输出数据体有相同的空间尺寸。这样做非常常见，在介绍卷积神经网络的结构的时候我们会详细讨论其原因。

（2）步长的限制：

注意这些空间排列的超参数之间是相互限制的。举例说来，当输入尺寸，不使用零填充则，滤波器尺寸，这样步长 $S=2$ 就行不通，因为 $(W-F+2P)/S+1=(10-3+0)/2+1=4.5$ ，结果不是整数，这就是说神经元不能整齐对称地滑过输入数据体。因此，这些超参数的设定就被认为是无效的，一个卷积神经网络库可能会报出一个错误，或者修改零填充值来让设置合理，或者修改输入数据体尺寸来让设置合理，或者其他什么措施。在后面的卷积神经网络结构小节中，读者可以看到合理地设置网络的尺寸让所有的维度都能正常工作，这件事可是相当让人头痛的。而使用零填充和遵守其他一些设计策略将会有效解决这个问题。

真实案例：Krizhevsky构架赢得了2012年的ImageNet挑战，其输入图像的尺寸是[227x227x3]。在第一个卷积层，神经元使用的感受野尺寸，步长，不使用零填充。因为(227-11)/4+1=55，卷积层的深度 $K=96$ ，则卷积层的输出数据体尺寸为[55x55x96]。55x55x96个神经元中，每个都和输入数据体中一个尺寸为[11x11x3]的区域全连接。在深度列上的96个神经元都是与输入数据体中同一个[11x11x3]区域连接，但是权重不同。有一个有趣的细节，在原论文中，说的输入图像尺寸是224x224，这是肯定错误的，因为(224-11)/4+1的结果不是整数。这件事在卷积神经网络的历史上让很多人迷惑，而这个错误到底是怎么发生的没人知道。我的猜测是Alex忘记在论文中指出自己使用了尺寸为3的额外的零填充。

第4章参数共享

在卷积层中使用参数共享是用来控制参数的数量。

就用上面的例子，在第一个卷积层就有55x55x96= 290,400个神经元，每个有11x11x3=364个参数和1个偏差。将这些合起来就是290400x364=105,705,600个参数。单单第一层就有这么多参数，显然这个数目是非常大的。

作一个合理的假设：如果一个特征在计算某个空间位置(x,y)的时候有用，那么它在计算另一个不同位置(x2,y2)的时候也有用。基于这个假设，可以显著地减少参数数量。换言之，就是将深度维度上一个单独的2维切片看做深度切片（depth slice），比如一个数据体尺寸为[55x55x96]的就有96个深度切片，每个尺寸为[55x55]。在每个深度切片上的神经元都使用同样的权重和偏差。在这样的参数共享下，例子中的第一个卷积层就只有96个不同的权重集了，一个权重集对应一个深度切片，共有96x11x11x3=34,848个不同的权重，或34,944个参数（+96个偏差）。在每个深度切片中的55x55个权重使用的都是同样的参数。在反向传播的时候，都要计算每个神经元对它的权重的梯度，但是需要把同一个深度切片上的所有神经元对权重的梯度累加，这样就得到了对共享权重的梯度。这样，每个切片只更新一个权重集。

注意，如果在一个深度切片中的所有权重都使用同一个权重向量，那么卷积层的前向传播在每个深度切片中可以看做是在计算神经元权重和输入数据体的卷积（这就是“卷积层”名字由来）。这也是为什么总是将这些权重集合称为滤波器（filter）（或卷积核（kernel）），因为它们和输入进行了卷积。

Krizhevsky等学习到的滤波器例子。这96个滤波器的尺寸都是[11x11x3]，在一个深度切片中，每个滤波器都被55x55个神经元共享。

注意参数共享的假设是有道理的：如果在图像某些地方探测到一个水平的边界是很重要的，那么在其他一些地方也会同样是有用的，这是因为图像结构具有平移不变性。所以在卷积层的输出数据体的55x55个不同位置中，就没有必要重新学习去探测一个水平边界了。

注意有时候参数共享假设可能没有意义，特别是当卷积神经网络的输入图像是一些明确的中心结构时候。这时候我们就应该期望在图片的不同位置学习到完全不同的特征。一个具体的例子就是输入图像是人脸，人脸一般都处于图片中心。你可能期望不同的特征，比如眼睛特征或者头发特征可能（也应该）会在图片的不同位置被学习。在这个例子中，通常就放松参数共享的限制，将层称为局部连接层（Locally-Connected Layer）。

Numpy例子：为了让讨论更加的具体，我们用代码来展示上述思路。假设输入数据体是numpy数组X。那么：

一个位于(x,y)的深度列（或纤维）将会是X[x,y,:]。
在深度为d处的深度切片，或激活图应该是X[:,:,d]。

卷积层例子：假设输入数据体X的尺寸X.shape:(11,11,4)，不使用零填充（），滤波器的尺寸是，步长。那么输出数据体的空间尺寸就是(11-5)/2+1=4，即输出数据体的宽度和高度都是4。那么在输出数据体中的激活映射（称其为V）看起来就是下面这样（在这个例子中，只有部分元素被计算）：

V[0,0,0] = np.sum(X[:5,:5,:] * W0) + b0
V[1,0,0] = np.sum(X[2:7,:5,:] * W0) + b0
V[2,0,0] = np.sum(X[4:9,:5,:] * W0) + b0
V[3,0,0] = np.sum(X[6:11,:5,:] * W0) + b0

在numpy中，*操作是进行数组间的逐元素相乘。权重向量W0是该神经元的权重，b0是其偏差。在这里，W0被假设尺寸是W0.shape: (5,5,4)，因为滤波器的宽高是5，输入数据量的深度是4。注意在每一个点，计算点积的方式和之前的常规神经网络是一样的。同时，计算内积的时候使用的是同一个权重和偏差（因为参数共享），在宽度方向的数字每次上升2（因为步长为2）。要构建输出数据体中的第二张激活图，代码应该是：

V[0,0,1] = np.sum(X[:5,:5,:] * W1) + b1
V[1,0,1] = np.sum(X[2:7,:5,:] * W1) + b1
V[2,0,1] = np.sum(X[4:9,:5,:] * W1) + b1
V[3,0,1] = np.sum(X[6:11,:5,:] * W1) + b1
V[0,1,1] = np.sum(X[:5,2:7,:] * W1) + b1 （在y方向上）
V[2,3,1] = np.sum(X[4:9,6:11,:] * W1) + b1 （或两个方向上同时）

我们访问的是V的深度维度上的第二层（即index1），因为是在计算第二个激活图，所以这次试用的参数集就是W1了。在上面的例子中，为了简洁略去了卷积层对于输出数组V中其他部分的操作。还有，要记得这些卷积操作通常后面接的是ReLU层，对激活图中的每个元素做激活函数运算，这里没有显示。

小结：我们总结一下卷积层的性质：

输入数据体的尺寸为
4个超参数：
- 滤波器的数量
- 滤波器的空间尺寸
- 步长
- 零填充数量

输出数据体的尺寸为，其中：

- （宽度和高度的计算方法相同）

由于参数共享，每个滤波器包含个权重，卷积层一共有个权重和个偏置。
在输出数据体中，第个深度切片（空间尺寸是），用第个滤波器和输入数据进行有效卷积运算的结果（使用步长 $S$ ），最后在加上第 $d$ 个偏差。

对这些超参数，常见的设置是，，。同时设置这些超参数也有一些约定俗成的惯例和经验，可以在下面的卷积神经网络结构章节中查看。

卷积层演示：下面是一个卷积层的运行演示。因为3D数据难以可视化，所以所有的数据（输入数据体是蓝色，权重数据体是红色，输出数据体是绿色）都采取将深度切片按照列的方式排列展现。输入数据体的尺寸是，卷积层参数。就是说，有2个滤波器，滤波器的尺寸是，它们的步长是2.因此，输出数据体的空间尺寸是(5-3+2)/2+1=3。注意输入数据体使用了零填充 $P=1$ ，所以输入数据体外边缘一圈都是0。下面的例子在绿色的输出激活数据上循环演示，展示了其中每个元素都是先通过蓝色的输入数据和红色的滤波器逐元素相乘，然后求其总和，最后加上偏差得来。