神经网络可以解决一切问题吗：一场知乎辩论的整理

Posted 2023-02-13 3A是个坏同志

前言：2014年，Deepmind提出了神经图灵机。其后，各种传统软件系统的可微版本被提出，基于自动微分框架的反向计算能力，神经网络被应用于大量新颖的场景。基于这些事实，一些机器学习外围的理论研究人员认为，由于神经网络与图灵机的计算模型（可以被认为）等价，因此可以解决一切有价值的问题；或者认为，一切人脑有可能解决的问题，都可以通过深度学习解决。昨天在刷知乎的时，针对这一观点，我与一个同学展开了讨论，由于里面有一些有价值的信息，因此把讨论记录整理到这里。

本文所述的内容可以看作是之前《Policy Evaluation收敛性、炼丹与数学家》的推广。感兴趣的同学可以去读一下那篇文章。下面是讨论记录，A是我，Q是对方同学。

Q：AlphaFold2的成功证明了AI有能力替代生物医药传统的临床试验，使得在计算机上可以进行药物研发全流程的模拟。在科学方法论上，生化人还是传统特征工程的思路，可惜现在有AI，这种思路已经过时了。比如，AI做流体模拟，它内部就不是按物理规律跑的，但结果还就是对的。你还不能说这个系统不科学不可用。建模，从来不等于告诉你真正的事实是什么，它只是给一种描述。只要给AI系统加上足够强的约束，就是一种正确性验证，只要数据够多，泛化性良好，就能够量变引起质变。总之，使用AI会大大降低现有研发流程的复杂度。生化人需要跳出传统特征工程思路，了解一下更广阔的科学思想。

A：过于自信了吧？还“内部就不是按物理规律跑的但结果还就是对的”，等以后有限元模拟工具内全是神经网络端到端直接出结果你再来碰瓷制药吧。我寻思，就算是只追求看起来正确的图形学，NeRF这类工作的结果都不算稳定，你哪来这么大信心呢？“满足自洽性的系统是被强约束的” 要不晒一下你在神经网络安全方向的paper list，让大家看看你的信心来源， 看看你是怎么做"强约束”的？

Q：那你说，NeRF表示的是真实物理么？它科学不？但凡理解了无监督学习也不会看不明白怎么构建约束，来形成对目标问题的表示

A：你先搞清楚自己的论点，你说的是目前的神经网络（广义来说，可微分计算技术）有能力构造恰当的约束，给出一个问题不误报不漏报的结果。我的论证是，稍微严谨点的问题上都不敢用（比如有限元分析），相对不严谨的问题上（如渲染: NeRF），这类模型都没法给出不误报（完全正确）的结果。那么你说的这种技术在哪里？要不贴一下你的工作？

Q： 不行是你约束不够，不是理论上不行。

A：开始真空中的球形约束了是吧，照这么说理论上还有拉普拉斯妖呢

Q：你只要想想，人类总结出流体力学规律的过程是基于多有限的观测数据完成的，就知道我说的基于端到端训练构造自洽约束系统去描述目标系统的可行性是没问题的。你现在做的不好是你没有约束好系统。

A：你在论述的是存在性：存在一组数据，可以表征确定一个问题解的所有参数。关键问题是，你能不能找到和用好这组数据，如果参数量非常大，找不到合适的metric，这些数据可能永远也用不好，就像你没法实现拉普拉斯妖一样。在这八字没一撇的事实现之前，还是对人家领域内的科研人员有点尊重，毕竟你找人家领域内的“约束”还得靠人家的工作，别眼睛到天上去，吹嘘自己那还没实现的“科学方法”。我寻思现在顶刊工作都清楚自己做的是近似成果，你这么自信，你的工作在哪里？

Q：不要扯，人脑能做到的事，没有任何理由否认AI也可以做到，你做不到就是没做对，这逻辑很简单

A：“没做到就是没做对”关键是怎么做对？你做对了吗？一边信誓旦旦地说能行，一边拿不出自己的工作，你是科研人员还是神棍呢？

Q：先承认存在性，再去做构造性。告诉你，我的工作你恐怕不懂，而流体模拟和NeRF我也并不在意，我做的是另一层次上的事。

A：翻译一下：先承认佛祖存在，再去寻找佛祖。我信仰的佛祖你恐怕不懂，你们所谓的“前沿科学”我也并不在意，我做的是另一个层次上的事——在山顶上等我的佛学大师是吧，那您继续等，我们会脚踏实地做我们的近似工作，顺便在冲浪时被突然出现的您指点两下，累着您了

Q：好，我告诉你路径。NeRF不可靠是吧，原因显然是先验和world model没加入进去，你把物体识别分割加进去，材料特性加进去，各类物体统计先验加进去，你看会不会稳定?

A：……你咋不说把所有粒子加进去，拉普拉斯妖就实现了呢?

Q：开始搅了是吧。人脑构建三维空间环境就是加入了world model，这个简单事实不知道？你自己不加还怪系统不稳定？

A：我之前已经很清楚的说了你的问题在哪里，不过看起来你好像看不懂：引入的数据越多，找到正确解的概率越低，想提高这个概率，只能通过给模型加硬约束实现，可惜对于很多问题你并不知道这个硬约束是啥，或者在这个系统上怎么构造。其实这跟拉普拉斯妖很大程度上是一模一样的问题，可惜你还总想着自己那套。先承认自己是近似，才能做更好的近似，不是弄一套看似正确实则神棍的理论在这对真正做事的生物学者指点江山

Q：谁告诉你数据越多正确率越低的？你不觉得违反常识么？

A：在没有硬约束的情况下，cover越大的数据（越多的通道）需要越大的网络，网络的自由度增大速度其实是快过数据的自由度增大速度的，只能靠花式尝试各种优化策略来祈祷它出个好结果。这应该是每个做深度学习主流任务或者前沿任务的人都知道的事实，你还在这反问，我认为你是在纸上谈兵。

Q：我已经告诉你怎么约束NeRF了吧，你只需要现在把物体识别分割系统加进去构造不同视角间的一致性就能提高可靠性，要不要试试？

A：你一直在强调：加某个数据能达到某个目标。可惜加数据和达到目标之间存在两个gap：

1.你需要尝试才能找到加了数据之后还能稳定训练的结构和优化规则

2.你所说“达到”的定义是不误报，这需要长期测试。

说回NeRF,如果训练时引入语义图，那训练和推断时的输入输出是不一样的。虽然我不认为没有trick结构可以解决这个问题并减少推断的崩坏概率（可能现在就有），但这核心难点在于如何解决第一个gap，而不是你提出的“多加一个维度信息就好”这个点子——牛组每天会有无数个点子，关键是把哪个点子变成现实

话说回来，工业生产中大家愿意用基于硬模拟的有限元分析，不敢用神经逼近器——硬模拟结果是正确的，说明信息已经足够了吧（和NeRF不一样）？那你的工作能不能证明你做的神经逼近器不会崩呢?来show一show?

Q：告诉你，在NeRF这块，没人用过这个思路，不信你就试试

A：首先我从来没说你那啥方案不行，我说的是，不管你说加什么天顶星数据，难点都在解决那俩gap上，而不是在加什么天顶星数据上。至于你的方案本身，我没事刷刷arxiv，都能看到好几个differentiable rendering + semantic- guided的文章，具体跟NeRF是啥关系我也没细看，因为我不做这个（但看起来起码也比你懂点NeRF,所以之前我一直没说这句话）。虽然我没细看内容，但明显也能看出加语义信息不是你的天才大脑今天刚想出来的。咱就别抓着NeRF不放了行不，你哪怕说说有完美输入的有限元分析也行啊

Q：你还是关心你能懂的部分吧。以你的认知，你认为我给的增加NeRF约束的策略是否可行？你会不会构造？去试试不就行了？算我白送你一篇paper

A：开始复读了是吗？下面我正面回复你这两句话：

“我会不会构造？”要是你的约束是写的时候就能保证对于加上语义图的结构100%能提高训练稳定性的，我还真不会，我承认，这不可耻，因为敢做这种保证的人业内也没几个:)。至于你的idea我会不会试：首先，你的idea是现在已经存在的，并没哪里novel。即使假设它不存在，就算你真知道这个约束具体怎么加，而且告诉我，我也大概率不会试，因为你话里已经显示出你并没什么实操经验，你不是干这行的，属于纸上谈兵，所以我不会因为你的两句话浪费我大块时间，我的时间还是值那么一点钱的。 

至于怎么提高你说的话的可信度，我给你的第一个方案是展示一下你做的高端工作，不过看起来这玩意并不存在。那还有另一个方法：展示一下你100%不崩的有限元模拟神经逼近器，相信你的逼近器速度一定比硬模拟快（否则没意义了是吧）相信需要这个速度的人也有一些，那这玩意应该很有商业价值，期待早日看到你的公司盈利。当然，你可以说，你不屑于给这破玩意也整个公司，就像你不屑于发paper一样:)

Q：我又不做高级AI，为什么要给你展示高级AI paper？我又不打算暴露个人信息，为什么要给你看论文？你只需要知道这个世界有很多你不知道也从未听说过的工作和思想就行了，至少这样你就不会那么过份自信了

A：翻译一下：我是个佛学大师，又不是科学家，凭什么要证明佛祖存在？你只需要知道这个世界又很多你不知道也从未听说过的佛祖就行了，至少这样你们唯物主义者就不会过分自信了——行行，以后争取不如大师您普信

Q：一个只会看IF和引用下判断的人是不能叫学者的。这是AI界这些年的一个坏毛病

A：确实是个毛病，本来是我没这个毛病的，但对于你这个发言水平来说，我除了说这句有毛病的话，还能说啥呢？总不能让你晒晒学校和工作吧？这更low了

Q：arxiv上有类似的工作，这么说至少我说的方向是有可行性的，这怎么成我的错误了？你又没看论文，怎么知道别人的方法和我一样的？如不一样，怎么就不是我自己先提的？你不矛盾么？

A：啥时说你方案不行了，花式加数据拼模型这是个研究生都能想出来的事，结果有可能好，有可能坏，结果坏也不代表这个方案不行，因为可能是调参没调好。我早就说了gap不在加什么数据上，都说好几遍了。你还搁着抱着你那加数据的方案沾沾自喜三句话里两句都要扯出来说，研一都不如了是吧

Q：加啥数据了？把现有识别分割网加上去，加啥数据了？

A：相当于在给原先NeRF多输入个语义图呗，要不semantic-guided啥意思。是，你可以跳连，我说的不严谨，大师我错了

Q：本来加约束就是这点破事啊，多加几个信息通道，多加点代价函数，又不高级。本来说的就是约束少了所以不可靠的。

A：蒽，确实就这缺个佛祖点事不咋高级，发顶刊那帮人智商也是低，加完数据调参这点事都做不好，怪不得一辈子调参

Q：你懂机器学习？真的？别又高估自己呦。我这个做AI可解释性的还不太敢这么说呢。来，有一篇讲resnet数学框架的论文，把resnet讲的很透彻，基于微分几何的，你告诉我你读过么？没读过就别吹自己能判断出我懂不懂机器学习。讲理论你也得懂啊。我要是讲深度网络怎么构造一个黎曼空间结构去存储信息，你能懂？

A：给我整笑了，你似乎没意识到我第一句话说的就是这个——一开始我就让你贴贴你在神经网络安全方面的工作，那是用在网络流形上加的真约束（而不是你扯了半天加数据这点研一都知道的破事）验证的。结果你是文章文章没有，说的都是点研一学生都不好意思说的东西，犯的错误是调过参都犯不了的错误，我还能说啥呢？

Q：你少扯淡了，这和安全有毛关系？我说的是网络作为信息处理系统构造的emergent geometric structure，这根本和你说的是两码事！

A：你又暴露知识水平了。入流的神经网络安全工作就是基于微分系统结构约束的，比如像之前说的有限元分析逼近器，如果要验证的话其实是在match网络流形结构和硬模拟方程的流形结构，那些匹配程度低的凸包里面就是可能让推理崩掉的输入。但目前这种方法没法直接制导训练。我想着，你要是做出你吹的那种完美约束完美结构，你早是best paper了 为啥我没听说过，所以管你要安全的paper

Q：我说的几何空间就是和相对论时空有关的那个几何空间，你压根不知道我说的是啥好么。你就是太高估自己了。你说的那只是具体应用问题，我讲的内容是可解释性，压根两码事

A：我在物理方面确实文盲，你愿意扯几个名词宣告自己胜利就胜利吧，希望你早日有能力拿出自己在PRL上的大作。顺便说一句，你说的构造流形结构存储信息和我说的安全里估计结构匹配的方法其实就是正向反向的关系，而且前者更简单，基于微分系统的可解释性研究也是一个路数。就算你是搞物理的，这也是客观事实，不过你似乎哪个都没听说过

Q：可解释性你就不要和我扯了。DL与经典力学，自动控制和量子计算的微分几何图像之间的一致性我肯定比你熟，我比鄂维南做的还早

A：这么早？那show paper？或者把完美有限元逼近器搞一下？你不肯啊

Q：不用扯啦，流体模拟其实不就是找测地线方程么，这在图像处理里玩过多少年了，新鲜么？

A：对对对 能说出测地线说明你在这方向稍微入流了 现在就差把你完美的逼近器实现出来了。我就想看大师的有限元模拟逼近器 大师实现的逼近器又快又准 让我们这些只能在siggraph做近似结果的开开眼

Q：装什么装。自己看论文吧。用resnet结构逼近测地线的工作快20年了，总结性的理论工作论文也十年了。你还当那新鲜么？

A：其实有限元模拟逼近器这就是个我给你挖的坑，没想到你信誓旦旦的往里跳，还二十年前就做出来了，难道你要重新定义“逼近器”？你要能做出来能nips best paper倒是真的，因为最近确实有类似量纲表征的工作，不过你可能搞不懂这跟量纲表征有啥关系，毕竟大师都不知道安全和微分结构有啥关系捏

注：量纲表征文章指 Chen, B., Huang, K., Raghupathi, S. et al. Automated discovery of fundamental variables hidden in experimental data. Nature: Computational Science 2, 433–442 (2022). https://doi.org/10.1038/s43588-022-00281-6

Q：你连resnet的理论论文都没读过，也配管我要论文？神经网络有限元模拟没有？你不知道就是没有？要不你先看看The geometry of entanglement？你读过文老师工作么？你知道他的工作与AI密切关联么？你不知道就是不存在？你也太自信了吧？

注：文老师为文小刚，物理信息系统学者。前面我提到的，不过那段跟主线没啥关系，就不在这展示了。所说文章为 Levay P . The geometry of entanglement: metrics, connections and the geometric phase[J]. Journal of Physics A General Physics, 2003, 37(5):1821-1841.

A：量子物理啥的我确实文盲，不知道你说的啥。不过看起来你的意思是，基于这篇文章的结果，完美的有限元模拟逼近器二十年前已经实现了？讲真，你说这种跟领域内共识完全相反的暴论，就类似小学生硬说自己是奥特曼，不会显得你很牛，反而显得你很搞笑

Q：领域内共识？你先要知道领域有多大，领域内都有谁，还要知道领域共识不是依赖于大多数调参侠的认知。我给你的论文是不是领域内？你读过么？没读过你能知道共识发展到哪一步了？你知道的只是调参侠的共识好么，领域内还有很多人你压根不知道好么？做量子多体的人算领域内不？他们做过什么你知道不？他们怎么理解深度网络的你知道不？不知道你吹什么领域共识？那只是你的错误认识，Ok？

A：我没看错吧，我用人话总结一下您的claim，您说的是：“二十年前用resnet拟合有限元模拟的工作，相对硬模拟更快，且能保证完全不出现推断错误。这是物理学界的共识”——您真的知道您在说什么吗？要不您重复一遍，清醒清醒？

Q：领域共识不该以文老师的认知为基准么？至少该参照文老师的工作吧？问题是，他的论文和书我读过，你读过么？

A：好的，你来重申一下你的claim，跟我念：“十年前用resnet拟合有限元模拟的工作，相对硬模拟更快，且能保证完全不出现推断错误。这是我们物理学界的共识，是我和文老师的共识”

Q：看不懂论文直说，可笑。你先把这几篇文章读懂，读出其中DL的内容，才有资格讨论谁不懂DL的问题

A：我都没说您说的不对，您为什么不敢声明一遍呢？其实您心里清楚，这是错的，对吧？

后面就都是Q没营养的复读了，不再赘述。这个人自称是研究物理的，是否真实我无法确定。但能确定的是他在机器学习这方面没啥实操经验。我认为之前文章的一句话是对他很好的judge：”光凭符号描述，他们就根本不知道面前的这个复杂系统到底是什么样的，从来没实现过自己的算法，是没法摸到复杂系统的形状的。”

虽然前文管他叫同学，但从他的回复里，我看出他是手写输入的，年龄应该已经不小了。物理信息系统这方面属于小众领域，但看出来他起码略懂，所以我判断他应该是在高校工作（不是民科），那么我的结论是——啥成果没有，瞎蒙混骗，写一些实现不了，无法验证真伪的理论，在网上拉踩其它领域学者，胡乱指点江山。这种所谓“老教授”班门弄斧拿石头砸自己脚已经不止第一次了。希望这些人还是好自为之。