机器学习（五）：w·x+b模型（2）

3. 支持向量机SVM

SVM主要用于分类问题，$w\in R^n, b\in R, y\in \{-1,1\}$(注意此处不再将b视为$w_0$)

3.1 引言

3.1.1 training set完全线性可分

假设有很多wx+b=0超平面可以将training set中的数据正确分类，那么应该选用哪个（w,b）呢？如下图所示：

很容易凭借直觉选出wx+b=0与所有的数据点都比较远的超平面，由此我们可以选择这样的（w,b）:
使得$\max_w margin(w)$，其中$margin(w)=\min_{n=1..m} \frac 1{||w||} |w^Tx+b|$，这样做的一个问题是：假设(w’,b’)我们最终选择出来的参数值，那么(cw’,cb’)也满足条件（其中c为任意非零实数）。
为了解决这一问题，我们要求只在这样的(w,b)中选取：$\min_{n=1..m} |w^Tx+b|=1$
如果这样的话，问题就转化成：

3.1.2 training set线性不可分

对于分错类的数据应当引入惩罚项。假设$(x^{(i)},y^{(i)})$出现分类错误，那么如何衡量这一错误？
很自然就想到使用： C×

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！