深度学习笔记3-神经网络的学习

Posted 2022-08-18 阿阿阿阿锋

前言

活动地址：CSDN21天学习挑战赛

🚀 个人主页：阿阿阿阿锋的主页_CSDN
🔥 本文属于个人笔记，比较乱
🔥 希望能和大家一起加油，一起进步！

---

文章目录

• 前言
• 3. 神经网络的学习
• • 摘抄：
  • 收获：
  • porblem:
  • 单词：
• 参考：

3. 神经网络的学习

摘抄：

1. Python 中如果定义的是简单的函数，可以使用 lambda 表示法。使用 lambda 的情况下，上述代码可以如下实现。
   $f=lambdaw:net.loss(x,t)$
   $dW=numericalgradient(f,net.W)$

2. 因为这里使用的数据是随机选择的 mini batch 数据，所以又称为随机梯度下降法（stochastic gradient descent）

收获：

1. python是弱类型的，2-0.0001会是个小数而不会自动给你取整而numpy.array是有类型的，你传入的是整数，那么它的类型就是整型，你传入的是小数，它的类型就是浮点型你像整型数组里传入小数，会进行强制转换

2. 某点处的函数值下降最快的方向，取反方向就是函数值上升最快的方向吗？答案应当是肯定的，想二维函数虽然变化方向有很多会不好考虑，但却可以分为两个一维函数来思考，因为两个自变量的变化本来就是相对独立的。

3. 学习率就像每次每个自变量移动的距离

4. python中虽然没有函数重载，但代码中可以有重名函数。第一种情况是新定义的代替旧的；第二种情况是类中的和全局的，可类比全局变量和局部变量。

porblem:

1. 鞍点：从某个方向上看是极大值，从另一个方向上看则是极小值的点
2. 高斯分布
3. 神经网络的梯度那一节，权值W的形状是不是有问题？
4. 为什么随着训练次数的增多，损失的上下波动会变大？
   

单词：

1. dimension 方面
2. descent 下降

参考：

深度学习入门：基于Python的理论与实现 (斋藤康毅)

---

感谢阅读