Coursera机器学习机器学习笔记 为什么线性回归中代价函数除以2m？

转载：http://blog.csdn.net/u010106759/article/details/50380442

线性回归中代价函数为：

J = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 J = \frac{1}{2m} \sum_{i=1}^{m} {\left({h}_{\theta }({x}^{\left(i \right)} )-{y}^{\left(i \right)} \right)}^2 J=2m1​i=1∑m​(hθ​(x(i))−y(i))2

为什么是除以$2m$，第一反应不应该除以$m$么？在吴恩达机器学习视频公开课上讲解是为了后续数学计算的方便。

因为这里无论除以$2m$还是$m$，代价函数最优化的结果$\theta$都是相同的。利用梯度下降法对$J$求导，如果是$2m$，求导结果为：

∂ J ∂ θ i = 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) ∂ h θ ( x ( i ) ) ∂ θ \frac{∂J}{∂{θ}_{i}} = \frac{1}{m} \sum_{i=1}^{m}\left({h}_{\theta} ({x}^{(i)})−{y}^{(i)} \right) \frac{∂{h}_{\theta}{\left ({x}^{(i)}\right)}}{∂θ} ∂θi​∂J​=m1​i=1∑m​(hθ​(x(i))−y(i))∂θ∂hθ​(x(i))​

这里正好除以$m$，便于计算。

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！