Coursera-MachineLearning Note-Week 5

Posted 2022-12-02 zsytony

MachineLearning Note-Week 5

Lecture 9-Neural Networks:Learning

• MachineLearning Note-Week 5
  • Lecture 9-Neural NetworksLearning
  • Cost function 代价函数
    • 1 Cost function
      • Logistic Regression
      • neural networks
  • Backpropagation algorithmBP算法
    • 1 BP算法初探
    • 2 反向传播与前向传播对比
    • 3 ldelta l 的计算方法
    • 4 梯度计算
    • 5 BP总结
  • Gradient Checking梯度检查
    • 1 为什么需要梯度检查
    • 2 怎样进行梯度检检查
      • 梯度检查算法实现
  • Random initialization随机初始化
    • 1 为什么要随机初始化
    • 2 随机初始化算法实现
  • Putting it together组合到一起
    • 1设计网络结构
      • 网络结构的选择规则
      • 输入层与输出层
      • 隐藏单元的选择规则
    • 2 神经网络训练过程
  • 实用小技巧介绍环节
    • 1 机器学习该怎么入门知乎热门回答
    • 2 GraphLab
    • 3 实验楼-大数据工程师学习路线图
    • 4 如何在网上获得免费的论文资料
    • 5 研究人员排行榜

1. Cost function (代价函数)

神经网络的基本结构
其中

• 训练集是： $$(x^(1),y^(1)),...,(x^(m),y^(m))$$
• L =神经网络的层数
• $s_l=第l层的单元个数(不包含偏置单元)$

对于一个分类问题有两种情况:
- Binary Classification : y = 0 or =1. Output Layer 有一个神经元
- Multi-Class Classificaiton:
神经网络的输出层上有K个输出单元

1.1 Cost function

Logistic Regression

$$\\colorRed J(\\theta)=-\\frac1m \\left[ \\sum^m_i=1 y^(i) log(h_\\theta(x^(i)))-(1-y^(i))log(1-h_\\theta(x^(i))) \\right]+\\frac\\lambda2m\\sum^n_j=1\\theta^2_j$$
向量化之后应为
$\\mathbf X 是 n \\times (m+1) 维$
$\\mathbf y 是 n \\times 1 维$
$\\mathbf \\theta 是 (m+1) \\times 1 维$

neural networks

神经网络中的输出层通常有多个输出，属于K维向量，cost function定义如下：

$$\\color Red h_\\Theta(x)\\in\\mathbbR^k, h_\\Theta(x)=\\Theta^T\\mathbfX,(h_\\Theta(x))_i=i^th output$$
J(Θ)=−1m[∑i=1m∑k=1Ky(i)klog(hθ(x(i)))k−(1−y(i)k)log(1−(hθ(x(i)))k