[吴恩达机器学习]10·支持向量机

吴恩达机器学习系列课程：https://www.bilibili.com/video/BV164411b7dx

优化目标

首先回忆逻辑回归的优化目标： $$\underset{\theta }{min}\frac{1}{m}[\sum _{i=1}^m{y}^{(i)}(-\ln h_{\theta }(x^{(i)}))+(1-y^{(i)})(-\ln (1-h_{\theta }(x^{(i)})))]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$ 记上式中 $-\ln h_{\theta }(x^{(i)})$ 为 ${\text{cost}}_1({\theta }^T{x}^{(i)})$，即分类为 $1$ 时采用的代价，$-\ln (1-h_{\theta }(x^{(i)}))$ 为 ${\text{cost}}_0({\theta }^T{x}^{(i)})$，即分类为 $0$ 时采用的代价，则支持向量机中，我们不再采用 $\mathbf{\text{sigmoid}}$ 函数，而是： $${\text{cost}}_1(z)=\{\begin{array}{ll}0& z⩾1\\ k_1(z-1)& z<1\end{array}{\text{cost}}_0(z)=\{\begin{array}{ll}0& z⩽-1\\ k_0(z+1)& z>-1\end{array}$$

另外，我们习惯于不除以样本大小 $m$，并将正则化参数放在第一项而非第二项，即支持向量机的优化目标为： $$\boxed{{\displaystyle \underset{\theta }{min}C\sum _{i=1}^m[y^{(i)}{\text{cost}}_1({\theta }^T{x}^{(i)})+(1-y^{(i)}){\text{cost}}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{j=1}^n{\theta }_j^2}}$$ 其中，$C$ 是正则化参数，类比逻辑回归中 $\frac{1}{\lambda }$ 的作用。

对该代价函数的理解：

首先看看 $y{\text{cost}}_1({\theta }^{T}x)+(1-y){\text{cost}}_0({\theta }^{T}x)$ 这一项，欲使之最小，最理想的情况就是 ${\text{cost}}_y({\theta }^{T}x)=0$，这对应着 $\{\begin{array}{ll}{\theta }^{T}x⩾1& \text{if }y=1\\ {\theta }^{T}x⩽-1& \text{if }y=0\end{array}$；而在逻辑回归中，我们只需要对比 ${\theta }^{T}x$ 和 $0$ 的大小，这里相当于将条件变得更苛刻。

注意 ${\theta }^{T}x$ 其实是参数 $\theta$ 和 $x$ 两个向量的点积，可以视作 $x$ 向 $\theta$ 的投影乘上 $\theta$ 的长度 $||\theta ||$；而 $\sum _{j=1}^n{\theta }_j^2$ 就是 $||\theta ||$。从这个几何角度看，如果 $C$ 取值较大，那么我们很关心能否把原数据集完美地线性分开，因为这样，只要 $||\theta ||$ 充分大，那么第一项就能取到 $0$；相反地，如果 $C$ 取值较小，那么即便有些数据点没有被正确地线性分类（第一项不为 $0$），由于我们需要的 $||\theta ||$ 不必太大，所以总代价依然较小。

核函数

对于非线性可分集，我们引入核函数 $\varphi :x\mapsto \varphi (x)$，它将原来的 $n$ 维向量映射为更高维的向量，使得这些向量在该更高维空间中线性可分。常用的核函数有：

• 线性核：$\varphi (x_i)=x_i$，即不做任何改变；
• 高斯核：$$，其中 $$ 是参数，$$ 被称作 landmark，实践中直接采用输入数据 $$ 作为 landmark。

scikit-learn 实现

线性可分分类

首先看一下数据集的样纸：

from sklearn import svm

clf = svm.SVC(C=1, kernel='linear')
clf.fit(X, y)
PYTHON

训练结果如下：

带高斯核的 $$

依旧先看数据集的样子：

from sklearn import svm

clf = svm.SVC(C=100, kernel='rbf', gamma=10, probability=True)
clf.fit(X, y)
PYTHON

训练结果如下：

调整参数 $$

数据集：

maxscore, maxC, maxgamma = 0, 0, 0
for C in [0.01, 0.03, 0.1, 0.3, 1, 3, 10, 30]:
	for gamma in [0.01, 0.03, 0.1, 0.3, 1, 3, 10, 30]:
		clf = svm.SVC(C=C, kernel='rbf', gamma=gamma, probability=True)
		clf.fit(X, y)
		score = clf.score(X, y)
		print(C, gamma, score)
		if score > maxscore:
			maxscore, maxC, maxgamma = score, C, gamma

clf = svm.SVC(C=maxC, kernel='rbf', gamma=maxgamma, probability=True)
clf.fit(X, y)
PYTHON

训练结果如下：