Spark成长之路(12)-Gradient Descent

Posted Q博士

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark成长之路(12)-Gradient Descent相关的知识,希望对你有一定的参考价值。

机器学习理论之一
梯度下降

基础概念

要想了解梯度下降,先来认识下面三个基础概念。

  • 导数
  • 偏导数
  • 梯度

导数

导数

大学数学我们都学过,简单复习了解下。

比如如下一元二次函数

y=f(x)=ax2+bx+c

它的导函数为

f(x)=ax+b

导函数是为了求解在某点的导数的,导数的意义表示该点的斜率,也表示增长的速度。

偏导数

偏导数

在一元函数中,我们计算导数很自然的就是计算以x为参数的导数,那么多元函数中如何计算导数?这就是偏导数的用处了。比如下面二元二次函数:

z=f(x,y)=ax2+by2+c

求x的导数:

f/x

对y求导就是

f/y

在求某个参数时候,其他参数被当成了常数。

梯度

梯度就是把偏导数转换为向量,比如上面二元二次函数的梯度就是

(f/x,f/y)T

求导这个值以后,表示我们的函数在(x,y)点时,沿着

(f/x,f/y)T
方向更容易找到最大值,沿着
(f/x,f/y)T
方向更容易找到最小值。

梯度下降

基本概念

  • 步长
  • 损失函数
  • 特征
  • 假设函数

以上是关于Spark成长之路(12)-Gradient Descent的主要内容,如果未能解决你的问题,请参考以下文章

Spark成长之路(10)-CountVectorizer

Spark成长之路-TFIDF

Spark成长之路(11)-ngram

Spark成长之路-消息队列

spark成长之路spark究竟是什么?

Spark成长之路(13)-DataSet与DataFrame