2022年秋季学期人工神经网络第一次作业
Posted 卓晴
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了2022年秋季学期人工神经网络第一次作业相关的知识，希望对你有一定的参考价值。
◎ 说明： 完成作业可以使用你所熟悉的编程语言和平台，比如 C，C++、MATLAB、Python等。作业链接： 网络链接 : https://zhuoqing.blog.csdn.net/article/details/126965272
01 学习算法
一、题目内容
1、背景介绍
在第一章介绍了日本学者 “甘利俊一” 提出的统一公式，把对神经元输入连接权系数的修正 Δ W \\Delta W ΔW 分成了三个独立成分的乘积：学习速率 η \\eta η ， 学习信号 r ( W , x , d ) r\\left( W,x,d \\right) r(W,x,d) 以及输入向量 X X X 。
▲ 图1.1 神经网络中神经元学习的统一公式
当学习信号 r ( W , x , d ) r\\left( W,x,d \\right) r(W,x,d) 取不同形式，可以得到神经元的三大类不同修正方式（无监督、有监督、死记忆）：
【表1-1 不同的神经元学习算法】
| 学习规则 | 权值调整 | 学习信号 | 初始值 | 学习方式 | 转移函数 |
|---|---|---|---|---|---|
| Hebbian | Δ W = η f ( W T X ) X \\Delta W = \\eta f\\left( W^T X \\right)X ΔW=ηf(WTX)X | r = f ( W T X ) r = f\\left( W^T X \\right) r=f(WTX) | 随机 | 无监督 | 任意 |
| Percetron | Δ W = η [ d − s g n ( W T X ) ] X \\Delta W = \\eta \\left[ d - \\mathop\\rm sgn \\left( W^T X \\right) \\right]X ΔW=η[d−sgn(WTX)]X | r = d − f ( W T X ) r = d - f\\left( W^T X \\right) r=d−f(WTX) | 任意 | 有监督 | 二值函数 |
| Delta | Δ W = η [ d − f ( W T X ) ] f ′ ( W T X ) X \\Delta W = \\eta \\left[ d - f\\left( W^T X \\right) \\right]f'\\left( W^T X \\right)X ΔW=η[d−f(WTX)]f′(WTX)X | r = [ d − f ( W T X ) ] f ′ ( W T X ) r = \\left[ d - f\\left( W^T X \\right) \\right]f'\\left( W^T X \\right) r=[d−f(WTX)]f′(WTX) | 任意 | 监督 | 连续可导 |
| Widrow-Hoff LMS | Δ W = η ( d − W T X ) X \\Delta W = \\eta \\left( d - W^T X \\right)X ΔW=η(d−WTX)X | r = d − W T X r = d - W^T X r=d−WTX | 任意 | 监督 | 连续 |
| Correlation 相关,外积 | Δ W = η d X \\Delta W = \\eta dX ΔW=ηdX | r = d r = d r=d | 0 | 监督 死记忆 | 任意 |
下面给出神经元模型和训练样本数据，请通过编程实现上述表格中的五种算法并给出计算结果。通过这个联系，帮助大家熟悉神经元的各种学习算法。
2、神经元模型
下面给出神经元模型，根据不同的算法要求：
- 选择相应的传递函数种类（离散二值函数、连续 Sigmoid 函数）：除了Perceptron算法选择二值函数外，其它都选择Sigmoid函数，
- 神经元权系数（ w 1 , w 2 , b w_1 ,w_2 ,b w1,w2,b ）都初始化成 0。
▲ 图1.1.2 神经元及其传递函数
3、样本数据
训练样本包括 6 个数据，它们的分布如下图所示：
▲ 图1.1.3 神经元训练数据
【表1-2 样本数据】
| 序列 | X1 | X2 | 类别 |
|---|---|---|---|
| 1 | -0.1 | 0.3 | 1 |
| 2 | 0.5 | 0.7 | -1 |
| 3 | -0.5 | 0.2 | 1 |
| 4 | -0.7 | 0.3 | 1 |
| 5 | 0.7 | 0.1 | -1 |
| 6 | 0.0 | 0.5 | 1 |
import sys,os,math,time
import matplotlib.pyplot as plt
from numpy import *
xdim = [(-0.1,0.3), (0.5,0.7), (-0.5,0.2),(-0.7,0.3),(0.7,0.1),(0,0.5)]
ldim = [1,-1,1,1,-1,1]
print("序列", "X1", "X2", "类别")
count = 0
for x,l in zip(xdim, ldim):
count += 1
print("%d %3.1f %3.1f %d"%(count, x[0], x[1], l))
if l > 0:
marker = 'o'
color = 'blue'
else:
marker = '+'
color = 'red'
plt.scatter(x[0], x[1], marker=marker, c=color)
plt.text(x[0]+0.05,x[1],'(%3.1f,%3.1f)'%(x[0],x[1]))
plt.axis([-0.8, 0.8,-0.1, 1])
plt.xlabel("X1")
plt.ylabel("X2")
plt.grid(True)
plt.tight_layout()
plt.show()
二、作业要求
1、必做内容
1. 给出每个学习算法核心代码；
2. 给出经过一轮样本学习之后神经元的权系数数值结果（w1,w2,b）；
* 权系数初始化为 0；
* 学习速率
η
=
1
\\eta = 1
η=1 ;
* 训练样本按照 表格1-2 的顺序对神经元进行训练；
2、选做内容
1. 在坐标系中绘制出经过一轮训练之后，权系数（w1,w2）所在的空间位置；
2. 简单讨论一下不同算法对于神经元权系数的影响；
import sys,os,math,time
import matplotlib.pyplot as plt
from numpy import *
xdim = [(-0.1,0.3), (0.5,0.7), (-0.5,0.2)以上是关于2022年秋季学期人工神经网络第一次作业的主要内容，如果未能解决你的问题，请参考以下文章