梯度下降

高数复习了方向导数和梯度,并且方向导数沿着梯度的方向最大。

据定义:在某一处的梯度是一个向量,设u=f(x,y,z),则在(x,y,z)处的梯度

也就是说,某一处对x、y…自变量偏导的大小和方向决定了此处梯度的大小和方向,例如:对x的偏导指的是将其他自变量看作是constant(常量)时函数f(x,y,z)的导数,指的是f(x,y,z)在自变量某变化区间内的变化率。所以,梯度在x轴的分量是沿某x区间内的f(x,y,z)变化率递增的方向,

梯度下降,指的就是沿着梯度的反方向(f(x,y,z)增长的反方向)反复下降以求局部最小值。

梯度下降公式:

cost 指的是代价函数,在不同的模型选择上,cost的计算方式是不一样的。

比如逻辑回归、线性回归之间的代价函数就不一样。

学习步长的选取现在还不清楚