【神经网络原理】神经网络结构 & 符号约定

Posted 2023-05-01

参考技术A

神经元模型的符号约定：输入： ，权重(weight)： ，偏置(bias)： ，未激活值： ，激活输出值：
神经元可用于解决部分二分类问题 ——当有一个类别未知的 输入感知机，若 输出值a = 1时，感知机被激活 ，代表 x 属于第一类；若 输出值a = 0时，感知机未激活 ，则代表 x 属于第二类。而对于sigmoid神经元，若输出值a ≥ 0.5时，代表 x 属于第一类，否则为第二类。

不难看出，感知机可以轻松实现“与非”逻辑，而与非逻辑可以组合成其他任意的逻辑，但对于一些过于复杂的问题，我们难以写出其背后地逻辑结构。 这时候神经网络就能大显身手 ：它可以自适应的学习规律，调节网络地权重和偏置等参数，我们只需要用大量的数据对其正确地训练，即可得到我们想要的效果！
那有一个很有意思的问题：相比于阶跃函数，为什么我们在神经网络中更愿意采用sigmoid函数作为激活函数呢？

首先，由于感知机的激活函数为阶跃函数（在0处突变），权重的一个小的变化就可能导致输出值的突变，而如果将激活函数替换为sigmoid函数，输出值的变化就能发生相应的小的变化，有利于网络学习；另外，由于采用二次代价函数作为损失函数时，利用BP算法求梯度值需要对冲激函数求导，sigmoid函数正好时连续可导的，而且导数很好求。

为了便于理解，先画一个三层的全连接神经网络示意图，激活函数都选用sigmoid函数。 全连接神经网络 指除输出层外，每一个神经元都与下一层中的各神经元相连接。网络的第一层为 输入层 ，最后一层为 输出层 ，中间的所有层统称为 隐藏层 。其中，输入层的神经元比较特殊，不含偏置 ，也没有激活函数 。

神经网络结构的符号约定 ： 代表第 层的第 个神经元与第 层的第 个神经元连线上的权重； 代表第 层与第 层之间的所有权重 构成的权重矩阵。 分别代表第 层的第 个神经元对应的偏置、未激活值、激活值； 则分别代表第 层的所有偏置组成的列向量、所有未激活值组成的列向量以及所有激活值组成的列向量。

下面展示了一个手写体识别的三层全连接神经网络结构：

隐藏层的功能可以看作是各种特征检测器的组合：检测到相应特征时，相应的隐藏层神经元就会被激活，从而使输出层相应的神经元也被激活。

第12章 网络基础_网络分层和TCP/IP协议族

1. 协议的概念

（1）计算机网络中实现通信必须有一些约定。如对速率、传输代码、代码结构、传输控制步骤和出错控制等约定，这些约定即被称为通信协议

（2）在两个节点之间要成功地进行通信，两个节点之间必须约定使用共同的“语言”，这些被通信各方共同遵守的约定、语言、规则被称为协议

（3）在Internet中，最为通用的网络协议是TCP/IP协议。

2. 网络分层模型

 

（1）应用层：提供用户接口，特指能够发起网络通信的应用程序，如客户端程序、QQ、MSN、浏览器等，服务器程序有Web服务器、邮件服务器、流媒体服务器等。

（2）表示层：使用何种编码方式。比如要传输的数据使用ASCII编码、Unicode编码还是二进制文件，是否要加密和压缩。发送端和接收端程序必须使用相同的编码方式，才能正确显示，否则就产生乱码。

（3）会话层：通信的应用程序之间建立、给维护和释放面向用户的连接。通信的应用程序之间建立会话，需要传输层建立1个或多个连接。

（4）传输层：负责在通信的两个计算机之间建立连接，实现可靠或不可靠的数据通信，能够实现发送端和接收端的丢包重传，流量控制。

（5）网络层：路由器查看数据包目标IP地址，根据路由表为数据包选择路径。路由表中的条目可以人工添加（静态路由），也可以动态生成（动态路由）

（6）数据链路层：不同的网络类型，发送数据的机制不同，数据链路层就是将数据包封装成能够在不同网络传输的帧，能够进行差错检查。但不纠错，检测出错误丢掉该帧。

（7）物理层：该层规定了网络设备接口标准、电压标准。尽可能地通过频分复用、时分复用技术在通信链路上更快的传输数据。

3. TCP/IP协议族

（1）TCP/IP实际是一个一起工作的通信家族，为网际数据通信提供通路。

（2）TCP/IP协议族大体上分为三个部分

　　①Internet协议（IP）:

　　②传输控制协议（TCP）和用户数据报文协议（UDP）

　　③处理TCP和UDP之上的一组协议专门开发的应用程序。它们包括：远程登录（telnet）、文件传送协议（ftp）、域名服务（dns）和简单的邮件传送程序（smtp）等许多协议。

（3）网络层协议

　　①internet协议（IP）：该协议设计成互联分组交换通信，以形成一个网际通信环境，它负责在源主机和目的主机之间传输来自较高层次软件的秋为数据报文的数据块，它在源和目标之间提供非连接型传递服务。

　　②网际控制报文协议（ICMP）：icmp实际上并不是IP层部分，但直接同IP层一起工作，报告网络上的某些出错情况，允许网际路由器传输差错信息或测试报文。

　　③地址识别协议（ARP）：实际上也不是网络层的部分，它处于IP和数据链路层之间，它是在32位IP地址和48位局域网物理地址之间执行翻译的协议。

（4）传输层协议

　　①传输控制协议（TCP）：可靠的、面向连接的传输层服务，主要功能有：监听输入对话建立请求、请求别一网络站点对话、可靠的发送和接收数据和适度的关闭对话等。

　　②用户数据报文协议（UDP）：提供不可靠的、非连接型传输层服务。它允许在源和目标主机之间传递数据而不必在传递数据之前建立对话。同时也不提供TCP使用的端对端差错校验功能。主要用于那些非连接型的应用。如名字服务、网络管理、视频点播和网络会议等。

（5）应用层协议

　　①Telnet：远程登录 ②FTP和TFTP：文件传送协议；

　　③SMTP：简单文件传送协议 ④DNS：域名服务