从几何箭头到抽象对象
平面位移可以画成箭头:长度表示移动多少,箭头方向表示往哪里移动。这个图像很有用,却不是向量的全部。连续一周的气温偏差可以排成七维向量,一段声音可由许多采样值组成向量,一个多项式也能在适当的运算下作为向量。它们无法都画成空间箭头,但都允许两个基本操作:把同类对象相加,以及用一个标量同时缩放对象。
以下空间均取实数域且为有限维。标量用普通小写字母表示,向量用粗体小写字母表示,零向量记为 0。写成
x=(x1,x2,…,xn)T
的列只是向量在一组有序基下的坐标记录。若更换基,同一个向量的坐标会改变;向量之间的相等、相加和线性依赖关系不会因此改变。
定义与坐标
实向量空间
一个实向量空间 V 是配备向量加法和实数标量乘法的集合。对任意
u,v,w∈V 与 a,b∈R,运算满足:
- 加法封闭、交换且结合;
- 存在零向量,并且每个向量存在加法逆元;
- a(u+v)=au+av;
- (a+b)u=au+bu;
- (ab)u=a(bu) 且 1u=u。
这些公理只规定运算结构,不规定长度、角度或单位。例如次数不超过二的实多项式在通常加法和数乘下构成向量空间;所有二元实数对也构成向量空间。相反,平面上满足 x+y=1 的点集不含零向量,数乘后也未必仍满足该方程,因此它不是子空间。
若非空子集 W⊆V,并且对任意 u,v∈W 和标量
a,b 都有 au+bv∈W,则 W 是 V 的子空间。这个“一次检查任意线性组合”的判据同时保证加法、数乘和零向量都留在集合中。
判断一个平面是否为子空间
在 R3 中考虑
W={(x,y,z)T:x−2y+z=0}. 若 u,v∈W,则
u1−2u2+u3=0 且 v1−2v2+v3=0。对任意标量
a,b,
(au1+bv1)−2(au2+bv2)+(au3+bv3)=0. 所以 au+bv 仍在 W 中,W 是子空间。令
y=s,z=t,可写成
(x,y,z)T=s(2,1,0)T+t(−1,0,1)T, 这也给出了该平面中任意向量的参数表示。
直觉允许平移的箭头
在欧氏平面中,自由向量可画成允许平移的箭头。只要长度和方向不变,从哪里起笔不影响它代表的向量。首尾相接给出加法;整体反向并放大两倍给出标量乘法
−2v。逐坐标计算与箭头规则一致:
u+v=(u1+v1,…,un+vn)T,au=(au1,…,aun)T.
运算有明确的对象边界。两个坐标数目相同但物理意义不同的记录不能自动相加;把位置与速度直接相加通常没有合理单位。坐标变成高维后,箭头图像不再可画,逐分量运算和向量空间公理仍然有效。
线性组合、张成与线性无关
线性组合、张成与线性无关
给定 v1,…,vk∈V,形如
a1v1+⋯+akvk 的向量称为这组向量的线性组合。所有线性组合组成
span{v1,…,vk}。
若
a1v1+⋯+akvk=0
只能推出全部系数为零,这组向量线性无关;否则线性相关。
张成回答“这些方向能生成哪些对象”,线性无关回答“生成方式是否含冗余”。只有两项同时成立,系数才成为不多不少的一套坐标。添加一个已经能由原向量合成的方向不会扩大张成空间,却会破坏线性无关。
基与坐标
一组既张成 V 又线性无关的有序向量
B=(b1,…,bn) 称为 V 的一组基。若
x=c1b1+⋯+cnbn, 则系数列
[x]B=(c1,…,cn)T
称为 x 在基 B 下的坐标。
先解系数,再核对目标
设
v1=(1,1,0)T,v2=(0,1,1)T. 判断 x=(2,3,1)T 是否在二者张成的子空间中。令
av1+bv2=x,比较三个分量得到
a=2,a+b=3,b=1. 三式相容,因此
x=2v1+v2。若目标改为
(2,4,1)T,第一、三式仍迫使 a=2,b=1,但第二分量只能等于
3,所以新目标不在该张成空间中。最后代回原线性组合,是比只报告系数更可靠的核验。
基坐标的存在性与唯一性
若 B=(b1,…,bn) 是向量空间 V 的一组基,则每个
x∈V 都存在唯一一组标量 c1,…,cn,使
x=c1b1+⋯+cnbn.
证明
基张成 V,所以所需系数至少存在。若同一向量还有另一组表示
x=d1b1+⋯+dnbn,两式相减得
(c1−d1)b1+⋯+(cn−dn)bn=0. 基向量线性无关,因此每个 ci−di=0,即 ci=di。所以表示唯一。
维数为何不依赖基的选择
同一空间可能有许多组基。平面可以使用水平、竖直方向,也可以使用两条斜着的独立方向;这些基的外观不同,向量数却必定相同。这个共同数量称为空间的维数。
线性无关组不会长于生成组
在有限维向量空间中,若
u1,…,um 线性无关,而
v1,…,vn 张成整个空间,则 m≤n。因此同一有限维空间的任意两组基含有相同数量的向量。
证明
因为 v1,…,vn 张成空间,可把
u1 写成它们的线性组合。该表示至少有一个非零系数,否则
u1=0,与线性无关矛盾。解出对应的
vj 后,可以用 u1 替换这支
vj,新集合仍张成空间。
继续处理 u2。它不可能只由已经放入的
u1 表示,否则二者线性相关;因此还可替换一支尚未被替换的
vj。依次进行,每放入一支 ui 都必须消耗一支不同的
vj。若 m>n,第 n+1 步将无向量可替换,产生矛盾,所以
m≤n。
若两组都是基,第一组线性无关而第二组张成,得到
m≤n;交换角色又得 n≤m,故 m=n。
这一定理也给出实用判断。在已知空间维数为 n 时,n 支线性无关向量自动构成基;n 支能够张成空间的向量也自动线性无关。少于
n 支向量不可能张成整个空间,多于 n 支向量必然线性相关。结论依赖已经确认的空间维数,不能用来跳过第一次建立基的过程。
识别冗余生成向量
在 R3 中,
v1=(1,0,1)T,v2=(0,1,1)T,v3=(1,1,2)T. 第三支恰好满足 v3=v1+v2,所以三者线性相关,只张成一个二维子空间。再加入
v4=(0,0,1)T 后,前三支中的
v1,v2 与 v4 线性无关:若
av1+bv2+cv4=0,
前两个分量先给出 a=b=0,第三分量再给出 c=0。三支线性无关向量位于三维空间中,因此构成一组基。
坐标变化只改变记录
相对于有序基 B,把上一节唯一系数组成的列记为
[x]B=(c1,…,cn)T.
坐标不是脱离基而存在的标签。设平面基
B=(b1,b2),其中
b1=(1,1)T、
b2=(1,−1)T。若
x=(5,1)T 是标准坐标,则
x=c1b1+c2b2=(c1+c2,c1−c2)T.
由 c1+c2=5、c1−c2=1 得
c1=3,c2=2,所以
[x]B=(3,2)T。把结果还原:
3(1,1)T+2(1,−1)T=(5,1)T,
说明两列数字描述的是同一个向量。
若交换基向量顺序,坐标也必须交换。若把某支基向量放大,表示同一对象所需的对应系数会缩小。仅比较不同基下坐标的平方和,不能判断向量是否变长;长度还需要额外的内积结构。
坐标运算必须始终标明所用的同一组基。若
[x]B=(c1,…,cn)T、
[y]B=(d1,…,dn)T,那么
[x+y]B=(c1+d1,…,cn+dn)T,而
[ax]B=(ac1,…,acn)T。这是因为展开式可以逐项相加和数乘。若两列坐标分别来自不同的基,直接相加就混合了两套记录规则,通常没有意义;应先把它们改写到同一组基下。
长度内积与投影
欧氏内积与正交
在 Rn 的标准欧氏结构中,内积定义为
⟨x,y⟩=i=1∑nxiyi. 它给出长度
∥x∥2=⟨x,x⟩,
并在两个向量都非零时给出夹角。若
⟨x,y⟩=0,称二者正交。
夹角具体满足
cosθ=∥x∥2∥y∥2⟨x,y⟩.
零向量与所有向量正交,但它没有方向,也不能代入夹角公式的分母。
柯西—施瓦茨不等式
对任意欧氏向量 x,y,
∣⟨x,y⟩∣≤∥x∥2∥y∥2. 等号成立当且仅当二者线性相关。
证明
若 y=0,结论直接成立。否则对任意实数 t,
0≤∥x−ty∥22=∥x∥22−2t⟨x,y⟩+t2∥y∥22. 取使右侧最小的
t=⟨x,y⟩/∥y∥22,
整理得到所述不等式。等号成立恰好意味着最小残差为零,即
x=ty。
不等式保证夹角公式右侧位于 [−1,1]。它也说明归一化内积只能比较方向对齐程度;若坐标混合不同单位或量级,先要说明为何采用这一内积。
正交投影来自最小残差
到一维子空间的正交投影
设 u=0。把 x 投影到
span{u} 所得的向量定义为
projux=⟨u,u⟩⟨x,u⟩u.
要推导这个公式,把 x 分解为沿
u 的分量与垂直残差,令沿线分量为 au,并要求
⟨x−au,u⟩=0.
解得
a=⟨u,u⟩⟨x,u⟩.
分母不能省略,除非 u 已是单位向量。把方向改写为
cu,其中 c=0,分子和分母的尺度会抵消,所以投影只依赖所张成的直线。
投影、残差与勾股核验
取
x=(3,4,−1)T,u=(1,1,0)T. 因为 ⟨x,u⟩=7 且
⟨u,u⟩=2,
p=projux=(3.5,3.5,0)T. 残差
r=x−p=(−0.5,0.5,−1)T,
并且 ⟨r,u⟩=0。进一步有
∥x∥22=26,∥p∥22=24.5,∥r∥22=1.5. 等式 26=24.5+1.5 是正交分解的独立核验。
正交投影给出直线上的最近向量
在直线 L=span{u} 上,
projux 是到 x 距离唯一最小的向量。
证明
记 p=projux。任取
y∈L,则 p−y∈L,而
x−p 与 L 正交。因此
∥x−y∥22=∥x−p∥22+∥p−y∥22≥∥x−p∥22. 等号只在 y=p 时成立,所以最近向量唯一。
正交规范基让坐标可以直接读取
若一组基向量两两正交且长度均为一,称为正交规范基
(q1,…,qn)。把
x=∑iciqi 与 qj 做内积,得到
⟨x,qj⟩=i∑ci⟨qi,qj⟩=cj.
因此正交规范基下的坐标可直接由内积读取,并满足
∥x∥22=i=1∑n∣⟨x,qi⟩∣2.
例如
q1=(1,1)T/2、
q2=(−1,1)T/2,
向量 x=(2,0)T 的两个系数分别为
2 与 −2。还原后确有
2q1−2q2=(2,0)T,
而系数平方和 2+2=4 等于 ∥x∥22。
投影到多个正交方向
一维投影可以直接推广到由多支正交规范向量张成的子空间。设
W=span{q1,…,qk},其中
⟨qi,qj⟩=0 对 i=j 成立,且每支向量长度为一。定义
p=i=1∑k⟨x,qi⟩qi.
显然 p∈W。对每个 qj,
⟨x−p,qj⟩=⟨x,qj⟩−i=1∑k⟨x,qi⟩⟨qi,qj⟩=0.
所以残差与整个 W 正交。任取 y∈W,向量
p−y 仍在 W 中,勾股恒等式给出
∥x−y∥22=∥x−p∥22+∥p−y∥22.
因此 p 是 W 中距离 x 最近的唯一向量。若生成向量只是正交但未归一化,每一项都要除以
⟨qi,qi⟩;若生成向量彼此不正交,则不能把一维投影公式简单相加。
投影到三维空间中的坐标平面
令
q1=(1,0,0)T、
q2=(0,1,0)T,
它们张成 xy 平面。对
x=(2,−3,4)T,
p=⟨x,q1⟩q1+⟨x,q2⟩q2=(2,−3,0)T. 残差为 (0,0,4)T,与平面内任意
(a,b,0)T 的内积都为零。平方长度满足
29=13+16,再次核对了正交分解。
一个不依赖绘图的投影实验
固定 x=(4,1)T,依次选取方向
u1=(1,0)T、
u2=(1,1)T 和
u3=(2,2)T。投影到第一条方向得到
(4,0)T;投影到第二条方向得到
(2.5,2.5)T;第三条方向与第二条张成同一直线,计算时分子变为
10、分母变为 8,再乘 (2,2)T,结果仍是
(2.5,2.5)T。
这个手算实验同时检验三件事:投影依赖方向与输入的对齐程度;残差必与目标方向正交;把方向向量整体缩放不会改变结果。若三项中有一项失败,通常是遗漏分母、没有先求内积,或把投影系数误当成投影向量。
高维表示仍需说明尺度和单位
向量可以统一表示图像像素、传感器读数、模型参数或物理状态,但“都能写成一列数”不意味着可以使用同一种距离。若一列坐标同时含米、秒和摄氏度,直接平方相加会混合不同量纲。即使全部坐标无量纲,特征尺度相差数千倍时,欧氏距离也可能几乎只由最大尺度的坐标决定。
MIT OpenCourseWare 18.06SC
把线性组合、子空间、基、正交和投影放在连续课程结构中,并提供习题与解答;本章采用同样的先代数结构、后欧氏几何顺序。
Georgia Tech Interactive Linear Algebra
用几何图、交互练习和证明串联线性组合、子空间、基、坐标、正交与投影。它与 MIT 18.06SC 的课程组织不同,可作为本章定义和例题的第二条复核路径。
常见误区与检查顺序
向量就是从原点出发的箭头
从原点画箭头只是标准坐标下的方便表示。自由向量允许平移;位置向量还额外依赖原点。高维数据向量甚至没有可见箭头,但仍遵守相同线性运算。
坐标不同就一定是不同向量
必须先比较所用基。不同基下两列不同数字可能描述同一对象;同一列数字附着在不同基上也可能描述不同对象。
投影就是把每个坐标分别截短
投影由目标子空间和内积共同决定。一维投影的系数来自正交残差条件,不是逐坐标裁剪。
处理一项向量计算时,可以按四步检查:先确认对象属于同一空间;再写明基和坐标顺序;随后检查内积与单位;最后用代回、正交性或平方长度恒等式复核结果。
练习:基、坐标与正交投影
练习
- 所属知识
- 线性组合与张成
- 难度
- 2/5
设
a=(1,0,1)T、
b=(0,2,1)T。
判断 y=(3,4,5)T 是否属于
span{a,b},若属于则给出系数。
查看提示
把目标写成两支生成向量的线性组合,再比较三个分量是否同时相容。
查看解答
令 sa+tb=(s,2t,s+t)T。
前两分量给出 s=3,t=2,第三分量为 s+t=5,与目标一致。因此
y=3a+2b. 代回三个分量均吻合。
练习
- 所属知识
- 基与坐标唯一性
- 难度
- 2/5
在 R2 中令
b1=(2,1)T、
b2=(1,−1)T。
说明二者构成一组基,并求
x=(7,1)T 在该基下的坐标。
查看提示
先证明两支向量不成比例,再解两个坐标方程。
查看解答
若 ab1+bb2=0,则
2a+b=0、a−b=0。由第二式 b=a,代入第一式得
3a=0,所以 a=b=0,二者线性无关。平面中两支线性无关向量构成一组基。
求坐标时解
2c1+c2=7、c1−c2=1,得到
c1=8/3、c2=5/3。核对:
38(2,1)T+35(1,−1)T=(7,1)T.
练习
- 所属知识
- 内积、夹角与正交
- 难度
- 2/5
设
u=(1,2,−1)T、
v=(2,0,2)T。
计算内积、长度与夹角,并说明二者是否正交。
查看提示
先算内积与两个长度;若内积为零,夹角无需再取反余弦。
查看解答
有
⟨u,v⟩=2+0−2=0,∥u∥2=6,∥v∥2=22. 两向量非零且内积为零,所以正交,夹角为 π/2。
练习
- 所属知识
- 正交投影与最近点
- 难度
- 3/5
把 x=(2,−1,3)T 投影到
u=(1,2,0)T 所张成的直线上,求投影与残差,并用平方长度核验分解。
查看提示
先求投影系数,再验证残差与方向向量内积为零。
查看解答
⟨x,u⟩=0,所以投影为
p=0,残差就是
r=x。确有
⟨r,u⟩=2−2=0。同时
∥x∥22=14=∥p∥22+∥r∥22=0+14. 这也说明原向量本来就与目标直线正交。
练习
- 所属知识
- 高维向量与度量边界
- 难度
- 3/5
一个样本向量依次记录身高(米)、质量(千克)和年龄(年)。解释为什么直接使用标准欧氏距离虽可计算,却未必适合比较两名样本,并给出一种改进思路。
查看提示
分别讨论坐标的单位、尺度以及任务希望保留的相似性。
查看解答
三个坐标单位不同,数值尺度也不同;平方相加会把量纲混合,并可能让数值范围最大的坐标主导距离。可先依据任务把各特征转换为无量纲标准分数,或由测量误差和业务含义指定权重,再在明确的新内积下比较。标准化改变的是度量,不是样本作为向量的线性组合规则。
与后续知识的关系
- 矩阵 把多组向量按行列组织,并以列的线性组合计算输出。
- 线性变换 研究保持向量加法与标量乘法的映射。
- 梯度 使用向量和内积表达多变量函数的方向变化率。
- 最小二乘 把正交投影推广到由多支向量张成的子空间。
已核实资源
课程 · 2011MIT 18.06SC Linear Algebra
Gilbert Strang
提供线性代数核心概念的完整课程顺序、例题、习题和考试材料。
打开官方来源
MIT OpenCourseWare 18.06SC 系统覆盖线性组合、子空间、基、正交与投影,适合继续用习题检验本章的代数结构和几何计算。
书籍 · 2019Interactive Linear Algebra
Dan Margalit, Joseph Rabinoff
章节含几何解释、交互图、例题、练习提示和部分解答,可用于交叉核对本册六章的代数与几何主线。
打开官方来源
Georgia Tech 的 Interactive Linear Algebra 以几何图示、交互练习和证明串联线性组合、张成、线性无关、基与正交投影,可作为本章第二条独立复核路径。
下一章
下一章把向量按行列组织成矩阵。阅读时继续保留本章的三项检查:矩阵每一列代表什么向量,乘法形成了哪些线性组合,以及坐标顺序是否与对象语义一致。