超平面与两种间隔
二分类标签取 y i ∈ { − 1 , + 1 } y_i\in\{-1,+1\} y i ∈ { − 1 , + 1 }
f ( x ) = w T x + b , f(x)=w^\mathsf Tx+b, f ( x ) = w T x + b , 预测由 sign f ( x ) \operatorname{sign}f(x) sign f ( x ) f ( x ) = 0 f(x)=0 f ( x ) = 0 y i f ( x i ) y_i f(x_i) y i f ( x i ) ( w , b ) (w,b) ( w , b ) a a a a a a
点到超平面的有符号几何距离为
f ( x ) ∥ w ∥ 2 , \frac{f(x)}{\lVert w\rVert_2}, ∥ w ∥ 2 f ( x ) , 样本几何间隔为 y i f ( x i ) / ∥ w ∥ 2 y_if(x_i)/\lVert w\rVert_2 y i f ( x i ) / ∥ w ∥ 2
y i ( w T x i + b ) ≥ 1. y_i(w^\mathsf Tx_i+b)\ge1. y i ( w T x i + b ) ≥ 1. 这时离边界最近样本的距离至少为 1 / ∥ w ∥ 1/\lVert w\rVert 1/ ∥ w ∥ f = + 1 f=+1 f = + 1 f = − 1 f=-1 f = − 1 2 / ∥ w ∥ 2/\lVert w\rVert 2/ ∥ w ∥
min w , b 1 2 ∥ w ∥ 2 2 subject to y i ( w T x i + b ) ≥ 1 ∀ i . \min_{w,b}\ \frac12\lVert w\rVert_2^2
\quad\text{subject to}\quad
y_i(w^\mathsf Tx_i+b)\ge1\quad\forall i. w , b min 2 1 ∥ w ∥ 2 2 subject to y i ( w T x i + b ) ≥ 1 ∀ i . 因子二分之一简化求导，不改变最优点。截距通常不惩罚，因此平移边界不会直接增加目标；若实现把截距也放入惩罚，优化问题和几何解释会改变。
例 1：二维数据逐步求最大间隔与支持向量
正类点为
( 2 , 0 ) , ( 2 , 2 ) , ( 3 , 1 ) , (2,0),(2,2),(3,1), ( 2 , 0 ) , ( 2 , 2 ) , ( 3 , 1 ) , 负类点为
( 0 , 0 ) , ( 0 , 2 ) , ( − 1 , 1 ) . (0,0),(0,2),(-1,1). ( 0 , 0 ) , ( 0 , 2 ) , ( − 1 , 1 ) . 两类最近的竖直边分别在 x 1 = 2 x_1=2 x 1 = 2 x 1 = 0 x_1=0 x 1 = 0 x 1 = 1 x_1=1 x 1 = 1 w = ( 1 , 0 ) w=(1,0) w = ( 1 , 0 ) b = − 1 b=-1 b = − 1 f ( x ) = x 1 − 1 f(x)=x_1-1 f ( x ) = x 1 − 1 x 1 = 0 x_1=0 x 1 = 0 y i f ( x i ) = 1 y_if(x_i)=1 y i f ( x i ) = 1 x 1 = − 1 x_1=-1 x 1 = − 1
此时 ∥ w ∥ = 1 \lVert w\rVert=1 ∥ w ∥ = 1
硬间隔为何需要软化
只要同一特征向量出现相反标签，或两类凸包相交，硬间隔约束就不可行。即使数据形式上可分，一个误录的远端点也可能迫使边界旋转并把间隔压得很窄。软间隔为每个样本引入松弛变量 ξ i ≥ 0 \xi_i\ge0 ξ i ≥ 0
y i ( w T x i + b ) ≥ 1 − ξ i , y_i(w^\mathsf Tx_i+b)\ge1-\xi_i, y i ( w T x i + b ) ≥ 1 − ξ i , 并求解
min w , b , ξ 1 2 ∥ w ∥ 2 2 + C ∑ i = 1 n ξ i . \min_{w,b,\xi}\
\frac12\lVert w\rVert_2^2+C\sum_{i=1}^n\xi_i. w , b , ξ min 2 1 ∥ w ∥ 2 2 + C i = 1 ∑ n ξ i . 在这个总和损失约定下，C > 0 C>0 C > 0 ξ i = max ( 0 , 1 − y i f ( x i ) ) \xi_i=\max(0,1-y_if(x_i)) ξ i = max ( 0 , 1 − y i f ( x i )) λ ∥ w ∥ 2 \lambda\lVert w\rVert^2 λ ∥ w ∥ 2 C C C
ξ i = 0 \xi_i=0 ξ i = 0 0 < ξ i < 1 0<\xi_i<1 0 < ξ i < 1 ξ i = 1 \xi_i=1 ξ i = 1 ξ i > 1 \xi_i>1 ξ i > 1 C C C C C C
例 2：由有符号得分读取松弛与分类状态
四个样本的有符号得分 m i = y i f ( x i ) m_i=y_if(x_i) m i = y i f ( x i )
1.4 , 0.6 , 0 , − 0.3. 1.4,\quad0.6,\quad0,\quad-0.3. 1.4 , 0.6 , 0 , − 0.3. 最小可行松弛为
ξ i = max ( 0 , 1 − m i ) , \xi_i=\max(0,1-m_i), ξ i = max ( 0 , 1 − m i ) , 所以依次得到 0 , 0.4 , 1 , 1.3 0,0.4,1,1.3 0 , 0.4 , 1 , 1.3
若这些得分来自满足 KKT 的精确最优解，第一个点严格位于间隔外，所以互补松弛迫使 α 1 = 0 \alpha_1=0 α 1 = 0 ( C − α i ) ξ i = 0 (C-\alpha_i)\xi_i=0 ( C − α i ) ξ i = 0 α i = C \alpha_i=C α i = C α i \alpha_i α i
从原始问题到对偶问题
对软间隔约束引入乘子 α i ≥ 0 \alpha_i\ge0 α i ≥ 0 ξ i ≥ 0 \xi_i\ge0 ξ i ≥ 0 μ i ≥ 0 \mu_i\ge0 μ i ≥ 0 w , b , ξ w,b,\xi w , b , ξ
w = ∑ i = 1 n α i y i x i , ∑ i = 1 n α i y i = 0 , 0 ≤ α i ≤ C . w=\sum_{i=1}^n\alpha_i y_i x_i,
\qquad
\sum_{i=1}^n\alpha_i y_i=0,
\qquad
0\le\alpha_i\le C. w = i = 1 ∑ n α i y i x i , i = 1 ∑ n α i y i = 0 , 0 ≤ α i ≤ C . 代回后得到对偶问题
max α ∑ i α i − 1 2 ∑ i , j α i α j y i y j x i T x j \max_{\alpha}\
\sum_i\alpha_i-\frac12\sum_{i,j}
\alpha_i\alpha_jy_iy_jx_i^\mathsf Tx_j α max i ∑ α i − 2 1 i , j ∑ α i α j y i y j x i T x j 满足上述等式与盒约束。硬间隔对偶没有 α i ≤ C \alpha_i\le C α i ≤ C
对偶只通过样本内积依赖输入，这是核化入口。原始变量仍有清晰意义：w w w b b b ξ \xi ξ
KKT 条件识别支持向量
互补松弛给出
α i [ y i f ( x i ) − 1 + ξ i ] = 0 , ( C − α i ) ξ i = 0. \alpha_i\bigl[y_if(x_i)-1+\xi_i\bigr]=0,
\qquad
(C-\alpha_i)\xi_i=0. α i [ y i f ( x i ) − 1 + ξ i ] = 0 , ( C − α i ) ξ i = 0. 典型非退化情形下，α i = 0 \alpha_i=0 α i = 0 w w w 0 < α i < C 0<\alpha_i<C 0 < α i < C ξ i = 0 \xi_i=0 ξ i = 0 y i f ( x i ) = 1 y_if(x_i)=1 y i f ( x i ) = 1 α i = C \alpha_i=C α i = C α i > 0 \alpha_i>0 α i > 0
若存在 0 < α i < C 0<\alpha_i<C 0 < α i < C
b = y i − ∑ j α j y j x j T x i b=y_i-\sum_j\alpha_jy_jx_j^\mathsf Tx_i b = y i − j ∑ α j y j x j T x i 恢复截距，并对多个自由支持向量的结果取稳定汇总。若没有自由支持向量，截距通常从 KKT 给出的上下界区间确定；随意选一个有界支持向量套等式可能错误。
例 3：两个一维样本的对偶系数
训练点为 ( x 1 , y 1 ) = ( − 1 , − 1 ) (x_1,y_1)=(-1,-1) ( x 1 , y 1 ) = ( − 1 , − 1 ) ( x 2 , y 2 ) = ( 1 , + 1 ) (x_2,y_2)=(1,+1) ( x 2 , y 2 ) = ( 1 , + 1 ) − α 1 + α 2 = 0 -\alpha_1+\alpha_2=0 − α 1 + α 2 = 0 a a a y 1 x 1 = y 2 x 2 = 1 y_1x_1=y_2x_2=1 y 1 x 1 = y 2 x 2 = 1
对偶目标化为
D ( a ) = 2 a − 1 2 ( 2 a ) 2 = 2 a − 2 a 2 . D(a)=2a-\frac12(2a)^2=2a-2a^2. D ( a ) = 2 a − 2 1 ( 2 a ) 2 = 2 a − 2 a 2 . 导数 2 − 4 a = 0 2-4a=0 2 − 4 a = 0 a = 1 / 2 a=1/2 a = 1/2 C ≥ 1 / 2 C\ge1/2 C ≥ 1/2 w = 1 w=1 w = 1 b = 0 b=0 b = 0 y i f ( x i ) = 1 y_if(x_i)=1 y i f ( x i ) = 1 α i > 0 \alpha_i>0 α i > 0 C < 1 / 2 C<1/2 C < 1/2
核化只替换内积
把显式特征 ϕ ( x ) \phi(x) ϕ ( x )
k ( x i , x j ) = ⟨ ϕ ( x i ) , ϕ ( x j ) ⟩ . k(x_i,x_j)=\langle\phi(x_i),\phi(x_j)\rangle. k ( x i , x j ) = ⟨ ϕ ( x i ) , ϕ ( x j )⟩ . 预测函数为
f ( x ) = ∑ i : α i > 0 α i y i k ( x i , x ) + b . f(x)=\sum_{i:\alpha_i>0}\alpha_i y_i k(x_i,x)+b. f ( x ) = i : α i > 0 ∑ α i y i k ( x i , x ) + b . 正半定核保证对偶保持凹性。核化不是把任意距离塞入公式；无效核可能破坏凸优化结构。训练需要 Gram 矩阵或其分块访问，通常面临二次存储与较高求解成本；预测成本与支持向量数及单次核评估成本成正比。若几乎所有样本都是支持向量，核 SVM 的部署延迟和模型体积会很大。
例 4：乘积特征分开 XOR 形数据
正类为 ( 1 , 1 ) , ( − 1 , − 1 ) (1,1),(-1,-1) ( 1 , 1 ) , ( − 1 , − 1 ) ( 1 , − 1 ) , ( − 1 , 1 ) (1,-1),(-1,1) ( 1 , − 1 ) , ( − 1 , 1 )
ϕ ( x ) = x 1 x 2 \phi(x)=x_1x_2 ϕ ( x ) = x 1 x 2 后，正类映射到 + 1 +1 + 1 − 1 -1 − 1 ϕ ( x ) = 0 \phi(x)=0 ϕ ( x ) = 0 x 1 x 2 = 0 x_1x_2=0 x 1 x 2 = 0
这不说明任意二次核都会在新数据上泛化。若坐标含噪、尺度不同或测试分布旋转，乘积特征的归纳偏置可能失效；核次数和正则参数仍须在不泄漏的验证流程中选择。
特征尺度、C 与核参数共同作用
将某一特征扩大百倍会改变 ∥ w ∥ \lVert w\rVert ∥ w ∥
C C C γ \gamma γ γ \gamma γ γ \gamma γ
类别重叠并非算法失败，而是特征下不可完全分离的事实。软间隔输出的是得分和类别，不天然给校准概率。若应用需要概率，应在独立验证数据上使用明确校准方法，并把校准器视为额外模型；不能把到超平面的距离直接称为发生概率。
多分类与部署边界
基本 SVM 是二分类器。K K K K K K K ( K − 1 ) / 2 K(K-1)/2 K ( K − 1 ) /2
线性 SVM 可用原始空间随机或坐标优化扩展到大样本；通用核 SVM 往往受 Gram 存储、训练时间和支持向量预测限制。核近似或线性显式特征可改善规模，却引入近似误差。模型选择应同时比较验证风险、分组性能、支持向量比例、内存和延迟，不能只以训练准确率决定。
常见误区
常见误区
“最大间隔就是让 y i f ( x i ) y_if(x_i) y i f ( x i ) ∥ w ∥ \lVert w\rVert ∥ w ∥
常见误区
“支持向量一定是噪声或异常点。”它们是当前最优解中约束活跃的样本，可能是完全典型的边界代表。
常见误区
“增大 C 总会改善分类。”大 C C C
练习：间隔、对偶与边界
练习
所属知识 几何间隔
难度 3/5 从参数缩放不变性出发，推导硬间隔 SVM 的规范化原问题。
查看提示 先说明共同缩放不改变超平面，再固定最小函数间隔为一。
查看解答 几何间隔为
y i ( w T x i + b ) / ∣ ∣ w ∣ ∣ yi(w^{\mathsf T}xi+b)/||w|| y i ( w T x i + b ) /∣∣ w ∣∣ ，共同乘正数时分子分母同倍变化。固定
y i ( w T x i + b ) ≥ 1 yi(w^{\mathsf T}xi+b)\ge 1 y i ( w T x i + b ) ≥ 1 后，最近点距离为 1/||w||，两侧支撑面宽 2/||w||；最大化它等价于最小化
∣ ∣ w ∣ ∣ 2 / 2 ||w||^{2}/2 ∣∣ w ∣ ∣ 2 /2 。
练习
所属知识 二维支持向量
难度 4/5 正类点 ( 3 , 0 ) , ( 3 , 2 ) , ( 4 , 1 ) (3,0),(3,2),(4,1) ( 3 , 0 ) , ( 3 , 2 ) , ( 4 , 1 ) ( 1 , 0 ) , ( 1 , 2 ) , ( 0 , 1 ) (1,0),(1,2),(0,1) ( 1 , 0 ) , ( 1 , 2 ) , ( 0 , 1 )
查看提示 代入候选
f ( x ) = x 1 − 2 f(x)=x1-2 f ( x ) = x 1 − 2 ，计算每点有符号函数间隔。
查看解答 正类点在 x1=3、4，负类点在 x1=1、0 时，取
w = ( 1 , 0 ) w=(1,0) w = ( 1 , 0 ) 、b=-2。x1=3 的正点和 x1=1 的负点有间隔一，是支持向量；x1=4 与 0 的点有间隔二，不是支持向量。
∣ ∣ w ∣ ∣ = 1 ||w||=1 ∣∣ w ∣∣ = 1 ，每侧几何间隔一。
练习
所属知识 松弛变量
难度 3/5 三个样本的 y i f ( x i ) y_if(x_i) y i f ( x i ) 1.2 , 0.3 , − 0.4 1.2,0.3,-0.4 1.2 , 0.3 , − 0.4
查看提示 逐个使用
ξ = max ( 0 , 1 − y f ) \xi=\max(0,1-yf) ξ = max ( 0 , 1 − y f ) ，再按有符号得分正负判断分类。
查看解答 有符号得分 1.2、0.3、-0.4 对应松弛 0、0.7、1.4。第一点在带外，第二点分类正确但在带内，第三点误分；hinge 损失总和为 2.1。
练习
所属知识 KKT 判断
难度 4/5 说明软间隔中 α i = 0 \alpha_i=0 α i = 0 0 < α i < C 0<\alpha_i<C 0 < α i < C α i = C \alpha_i=C α i = C
查看提示 分别使用
α \alpha α 的盒约束位置和两条互补松弛关系。
查看解答 非退化情况下
α = 0 \alpha=0 α = 0 的点在间隔外；
0 < α < C 0<\alpha<C 0 < α < C 时
ξ = 0 \xi=0 ξ = 0 且 yf=1，是自由支持向量；
α = C \alpha=C α = C 时可能在带内或误分。退化和数值误差会使等式边界更复杂，实践需结合约束残差与容差。
练习
所属知识 核化
难度 3/5 从对偶驻点关系推导核 SVM 的预测式，并解释为什么预测只依赖支持向量。
查看提示 把 w 的样本展开代回得分，观察输入只通过内积出现。
查看解答 由
w = Σ i α i y i ϕ ( x i ) w=\Sigma i \alpha iyi\phi(xi) w = Σ i α i y i ϕ ( x i ) ，得
f ( x ) = Σ i α i y i ⟨ ϕ ( x i ) , ϕ ( x ) ⟩ + b f(x)=\Sigma i \alpha iyi\langle \phi(xi),\phi(x)\rangle+b f ( x ) = Σ i α i y i ⟨ ϕ ( x i ) , ϕ ( x )⟩ + b ；用有效核 k(xi,x) 替代内积即可。只有
α i > 0 \alpha i>0 α i > 0 的支持向量参与预测，但训练仍需处理 Gram 结构。
练习
所属知识 选择与部署
难度 4/5 为不平衡的三分类大样本任务设计 SVM 选择协议，并列出最终准确率之外的部署检查。
查看提示 把尺度估计、C 与核宽度验证、类别策略及支持向量成本分别列出。
查看解答 只用训练折估计标准化；在训练内部联合选择 C 与核参数；类别不平衡按任务代价设权重；多分类明确一对其余或一对一和平局规则；最终独立测试一次。部署记录支持向量数、核评估延迟、内存和校准需求，若成本过高比较线性或核近似。
知识连接与资源
课程 · 年份待核 Stanford CS229 Course Materials Andrew Ng
用于核对经典机器学习模型的目标函数、推导和适用前提。
打开官方来源 Stanford CS229 官方材料可用于核对最大间隔、软间隔、Lagrange 对偶与核 SVM 推导。实际求解器的目标归一化、容差和多分类封装仍应以所用实现的明确契约为准。