概览
支持向量机（Support Vector Machine）是一种二类分类模型。基本原理是，特征空间上几何间隔最大化。
In its most simple type, SVM doesn’t support multiclass classification natively. It supports binary classification and separating data points into two classes. For multiclass classification, the same principle is utilized after breaking down the multiclassification problem into multiple binary classification problems. – Multiclass Classification Using Support Vector Machines
- 针对线性可分数据集，使用线性可分支持向量机即可。通过硬（几何）间隔最大化学习得到分离超平面 $w^* \cdot x + b^*=0$ 和相应的分类决策函数 $f(x)=sign(w^* \cdot x + b^*)$ .
- 几何间隔最大化：求解相应的凸二次规划问题；从而得到让几何间隔最大的 $w^*, b^*$。
- 求解凸二次规划问题：构建相应的拉格朗日函数；用拉格朗日对偶性，求解对偶问题；从而得到凸二次规划问题的解
- 针对近似线性可分数据集，引入松弛变量作为惩罚项（称软间隔最大化），然后再使用线性可分支持向量机。
- 针对非线性问题，通过非线性变换（核技巧）把非线性问题转换成线性问题。求解线性问题，然后得到对应的非线性问题的解。
参考
- 《统计学习方法》–李航
