一.代价函数的定义
代价函数(cost function或)损失函数(loss function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。
简单来说：代价函数就是用于找到最优解的目的函数，这也是代价函数的作用。
二.对代价函数的理解
现有一些数据集，想通过一个一次函数也叫线性回归函数（一条直线）去拟合这些数据，一次函数未确定前（也称假设函数），函数如下所示：
其中 θ0 和 θ1 都是未知量。现在关键就是如何求 θ0 和 θ1 这两个参数。θ0 和 θ1 可以取任意值，怎么取值才能让这条直线最佳地拟合这些数据呢？这就是代价函数登场的时刻了：
这就是上述一次函数的代价函数 J(θ0, θ1)。现对代价函数的理解：
判断拟合出的这个函数是否准确就是判断通过这个函数的出来的结果与实际结果有多大的误差：
i 为第 i 个数据，上式表示我通过拟合函数 hθ(x)（已经得到） 得到的第 i 个数据与真实的第 i 个数据的误差。总共有 m 个数据，那么我们就应该把 m 个数据的误差求和然后再求出平均误差，得到下面这个式子。
只要我让这个值尽可能的小，我所做的拟合函数就越准确，那么刚才求拟合函数的问题就转化成了通过 θ0 和 θ1 求 J(θ0, θ1) 的最小值。
现在来说说代价函数的工作原理：
上图中通过假设θ0=0， θ1为斜率来简化问题。
左图中：三条直线都是我拟合的函数图像， θ1各自不同，分别为0.1,0.5,1。
如何确定三个拟合函数谁最准确呢？我们就要把 θ1 的不同取值带入到代价函数 J(θ0，θ1)（θ0为0） 公式中，得到右图。
这里我们就发现，当 θ1=1 时，代价函数值最小为 0，那么我们就找到了拟合函数 hθ(x)= θ1x 的最佳参数 θ1=1。
如果有两个参数 θ0 和 θ1，那么他们的代价函数图像就是这样。
用轮廓图画出来的话就是这样（轮廓图类似于等高线图）
