交互实验室

完整计算流程

Q 与 K 的特征维数 d_k=3；标准缩放先除以 √d_k，再由温度调整 softmax 锐度。V 决定加权输出的内容。

Q（查询）

token	1	2	3
模型	1.20	0.20	0.70
根据	0.15	1.10	0.35
上下文	0.85	0.35	1.15
分配	0.30	1.20	0.80
权重	1.15	0.15	0.95

K（键）

token	1	2	3
模型	1.05	0.10	0.80
根据	0.10	1.00	0.25
上下文	0.75	0.25	1.20
分配	0.20	1.15	0.75
权重	1.00	0.20	1.00

V（值）

token	1	2
模型	0.90	0.20
根据	0.10	0.80
上下文	0.70	0.60
分配	0.25	0.95
权重	0.85	0.45

QK^T（原始分数）

token	1	2	3	4	5
模型	1.84	0.49	1.79	0.99	1.94
根据	0.55	1.20	0.81	1.56	0.72
上下文	1.85	0.72	2.10	1.44	2.07
分配	1.08	1.43	1.48	2.04	1.34
权重	1.98	0.50	2.04	1.11	2.13

QK^T / √d_k（缩放分数，d_k=3）

token	1	2	3	4	5
模型	1.06	0.29	1.03	0.57	1.12
根据	0.32	0.69	0.47	0.90	0.42
上下文	1.07	0.42	1.22	0.83	1.20
分配	0.62	0.83	0.86	1.18	0.77
权重	1.14	0.29	1.18	0.64	1.23

Mask（0 保留，−∞ 屏蔽）

1	2	3	4	5
0.00	0.00	0.00	0.00	0.00
0.00	0.00	0.00	0.00	0.00
0.00	0.00	0.00	0.00	0.00
0.00	0.00	0.00	0.00	0.00
0.00	0.00	0.00	0.00	0.00

Mask 后 logits（缩放分数 / 温度）

token	1	2	3	4	5
模型	1.25	0.34	1.22	0.68	1.32
根据	0.37	0.82	0.55	1.06	0.49
上下文	1.25	0.49	1.43	0.97	1.41
分配	0.73	0.97	1.01	1.39	0.91
权重	1.35	0.34	1.39	0.76	1.45

softmax（注意力权重）

token	1	2	3	4	5
模型	0.25	0.10	0.24	0.14	0.27
根据	0.15	0.23	0.17	0.29	0.16
上下文	0.22	0.10	0.26	0.17	0.25
分配	0.15	0.19	0.20	0.29	0.18
权重	0.25	0.09	0.26	0.14	0.27

Output = softmax(...)V

token	1	2
模型	0.67	0.53
根据	0.49	0.66
上下文	0.65	0.55
分配	0.51	0.65
权重	0.67	0.53

当前未启用掩码，是双向、非因果计算。注意力权重只描述这次加权读取，不能作为模型预测的完整解释或因果归因。

步骤 2 / 4速度

最大权重: 26.0%
熵: 1.561
有效位置: 5
缩放: 1/√3
输出维度: 5×2

读取当前图形说明

自然语言序列“模型根据上下文分配权重”共有 5 个 token。当前查询是“上下文”，键维度 d_k=3，原始分数 QK^T 除以 sqrt(d_k) 后再以温度 0.85 进入 softmax。当前行权重依次为 0.219、0.102、0.260、0.165、0.254，对“上下文”的权重最高。未启用因果掩码；这是双向、非因果注意力演示。注意力权重不能作为模型预测的完整解释，也不等于因果贡献。

键盘：空格播放或暂停，左右方向键单步，Home 重置。

当前是双向、非因果注意力。查询“上下文”对“上下文”的权重最高，为 26.0%；注意力权重不能作为完整解释或因果归因。

科学说明

模型、验证与适用边界

以下说明给出当前实现、自动复算口径与适用范围。

观察目标: 沿缩放点积注意力的完整计算链检查分数、掩码、行归一化和加权输出。
数学模型: 依次计算 Q、K、V、QKᵀ、QKᵀ/√dₖ、mask、按温度调整的 logits、逐行 softmax 和 output=softmax(...)V。
假设与适用范围: 示例矩阵固定且维度相容，温度为正；因果掩码只允许每个查询读取当前位置及之前的键。
token 序列用于展示矩阵运算，不代表经过训练的完整语言模型。
操作步骤: 选择查询 token，调整 softmax 温度，并切换双向或因果掩码。
展开数值流程表，逐项核对 Q、K、V、原始分数、缩放分数、mask、权重和输出。
比较所选行的权重和、被掩码位置与 output 的维度。
预期现象: 每一行未掩码权重之和为 1，因果掩码后的未来位置权重精确为 0。
较低温度使分布更尖锐；V 改变加权输出内容而不改变由 Q、K 生成的权重。
数值验证: 测试独立复算 √dₖ 缩放、稳定 softmax、行和、掩码零值、矩阵维度与 output 加权和。
无效温度、全掩码行和不相容矩阵维度会被运行时校验拒绝。
局限: 注意力权重只是当前模型计算中的系数，不能自动等同于因果解释或完整模型解释。
固定小矩阵不展示多头投影、位置编码、残差连接、训练过程或真实模型不确定性。
相关正文: 注意力机制：从加权平均到自注意力

注意力权重矩阵

正在加载交互实验…