一.梯度下降算法公式
数学理解：
:= ： 这个符号是赋值符号；
= ： 这个符号是等于符号；注：这两符号的意义与其他语言符号的意义不同
α ： α在梯度下降算法中被称作为学习率或者步长，意味着我们可以通过α来控制每一步走的距离即它控制我们用多大的幅度来更新θj。例如在下山的例子中，它控制下山的速率，不能太快错过最低点。也不能太慢，太阳下山了，还没到山脚。因此，选择适当的α 很重要。选好了α 就不会变。
横线下是公式的解题步骤：
注：Correct:Simultaneous update(正确的：同时更新）；Incorrect:（错误的)。
通过对比两个步骤我们可以得到参数θ0和θ1要同时更新，这样才算是正确的梯度下降。
下面进一步认识公式：
假设只有一个参数θ1，并且假设图像如下图所示。
从图像可以看到最低点，用梯度下降该如何求呢？ 首先假设θ1从最低点的右侧开始对图像进行初始化，函数的梯度（导数，看斜率）大于0，α是速率，大于0，这个时候，新的θ1小于上一个θ1。
同理，如果θ1从最低点的左侧开始对图像进行初始化，函数的导数小于0，α是速率，大于0，这个时候，新的θ1大于上一个θ1。 当然，如果恰好θ1就是最小值，那这个时候，导数等于0，θ1的值就不会变了。
α选取是随意的，太小或太大会出现不同的情况。α选取太小会导致下太慢，选取太大会导致偏离最低点，最后无法收敛。如图所示：
下图，是正确运用梯度下降算法的图像：
