第一章 为什么我们对机器学习感兴趣？

Posted 2021-01-13 superjulia

理解大脑

根据Marr¹（1982）的观点，理解信息处理系统需要进行三层分析：

1. 计算理论 与计算目标和任务的抽象定义相关
2. 表示和算法 是关于输入和输出如何显示，以及从输入到输出进行转换的算法的详细说明。
3. 硬件实现  是系统的实际物理实现。

 

多层分析的基本思想是，对于相同的计算理论，可能存在多种表示和多个算法用来操作该表示中的符号。同理，对于任一给定的表示和算法，可能存在多种硬件实现。对于任一理论，我们可以使用多种算法中的一种，相同的算法也可以有不同的硬件实现。

 

举个例子：‘6’，‘VI’，‘110’是数字6的三种不同的表示方法，分别是阿拉伯数字、罗马字母和二进制表示法。所使用的表示法不同，加法算法也并不相同。数字计算机使用二进制表示法并具有对该表示法做加法的电路，这是一种特殊的硬件实现。在算盘上，使用不同的方法表示数字，并且采用不同的指令集进行加法运算，这是另一种硬件实现。当我们“在头脑中”将两数字相加时，我们使用另一种表示方法及与其相应的算法，这是由神经元实现的—也就是说，我们、算盘和数字计算机—实现了相同的计算理论：加法。

        

典型的例子是自然飞行器和人工飞行器之间的差别。麻雀拍打它的翅膀，飞机不会拍打翅膀而是使用喷气发动机。麻雀和飞机是为不同目的而构造的两种硬件实现，以适应不同的限制条件。但是他们都实现了相同的理论，即空气动力学。

 

从这个角度来看，我们可以说大脑是学习的一种硬件实现。如果从这种特殊的实现，我们可以做逆向工程并提取使用的表示和算法，如果从中我们可以获得计算理论，那么我们可以使用另一种表示方法和算法，以此类推，使用更适合该方法和限制的硬件实现。我们希望我们的实现更便宜、快捷和准确。

 

正如发现空气动力学理论之前，我们最初尝试建造的飞行器看起来更像是鸟，预计首次尝试构造具备大脑能力的结构也会看起来像一个具有大量处理单元网络的大脑。事实上，在第4章中，我们将讨论由互连处理单元组成的人工神经网络，以及这样的网络如何进行学习—这是表示和算法层。最后，当我们发现了智能的计算理论，我们可以发现神经元和突出是实现细节，正如我们意识到羽毛是用来飞行的。

Marr¹  视觉计算理论的创始人D.Marr教授原籍英国。他于1973年到美国，应邀在麻省理工学院人工智能实验室创建并领导一个以博士研究生为主体的研究小组，主要从事视觉理论方面的探索。《视觉计算理论》一书发表于1982年。