A14 · 第 4 章 · 第二编 算子学习
神经算子
从函数空间映射和核积分层进入 Fourier 神经算子,解释模态截断、FFT计算与网格变化,并分析非周期边界、零样本超分辨率条件、守恒、长期稳定、外推和与数值求解器的成本比较。
报告页面错误本章目标
- 区分有限网格网络与函数空间算子目标,并写出核积分型神经算子层。
- 逐步计算Fourier层的变换、模态截断、频域通道映射和逆变换。
- 说明参数可在不同网格调用的条件,以及零样本超分辨率不能恢复不可辨信息。
- 处理周期假设、边界条件、非规则几何和离散积分权重。
- 用场误差、守恒、残差、长期稳定、外推和同精度成本评价神经算子。
本页目录
目标是跨输入场共享的函数空间映射
设输入函数 表示系数、初值或外力,输出函数 表示解场。神经算子希望学习同一个 处理一族输入函数,而不是为每个网格长度训练完全不同的有限维矩阵。
计算仍通过离散点完成。网格 上输入为 ,输出为 。所谓网格无关参数化是:层的规则可解释为连续核、局部函数或频率响应,并能在不同离散上近似同一规则。它不表示训练只见一个粗网格后,就已知道所有连续细节。
数据单位是一整个输入—输出场对。训练和测试应按输入场、方程参数或场景分组,不能把同一场的不同网格点随机拆开后声称跨函数泛化。
核积分层统一局部与非局部交互
一种抽象神经算子层写成
是局部通道变换,核积分让位置 读取全域 。离散实现用求积权重
近似积分。若网格不均匀却忽略 ,节点密集区域会被过度计权。核若完全稠密,计算和存储随 增长;局部核、低秩分解、图邻域或频域卷积用于降低成本。
输入通常先经逐点lifting映射到宽通道 ,经过多层算子后由逐点projection输出物理变量。坐标、边界mask和材料类型可作为额外通道,但它们的单位和变换必须在不同网格保持一致。
Fourier层在周期规则网格上高效实现全局卷积
对均匀周期网格上的特征 ,Fourier层先计算离散Fourier变换 ,保留有限模态集合 ,对每个模态用复矩阵 混合通道,再逆变换:
一层常把它与局部线性支路相加后激活。频域权重按模态编号共享于空间位置,参数量主要由保留模态和通道数决定,而不直接由网格点数决定。激活、FFT和输出数组仍随网格增长,运行内存并非分辨率无关。
周期四点信号为 。采用未归一正向DFT,其频谱为 :零模态表示均值,第二模态表示交替变化。若只保留零模态并做带 的逆变换,输出为 。
原信号相邻高低交替,截断后只剩平均值。若保留第二模态并令相应权重为一,可恢复原交替部分。模态截断是模型结构选择,不等同于无损压缩;真实解的重要高频超过截断范围时会形成系统误差。
实值信号频谱具有共轭对称,频域参数和逆变换要保持实输出。非线性会重新产生高频,网格Nyquist频率以上的分量会混叠回低频;模态数、网格分辨率和必要的去混叠处理应共同选择。
模态编号共享让跨网格调用成为可能
若不同网格覆盖同一物理周期域、使用一致Fourier归一化,低模态 具有相同物理含义。训练得到的 可在更细网格上作用于这些共同模态,逆FFT生成更多节点值。这是分辨率迁移的机制。
但输入粗采样已丢失的频率不可凭空恢复。细网格调用还要求输入插值、坐标尺度、边界、方程参数和输出定义一致。训练只覆盖平滑低频场时,在细网格输出平滑曲线可能合理;遇到冲击、湍流小尺度或新几何,新增节点不代表新增正确物理信息。
在周期区间 的四点网格 上,函数 与 的采样都为 。
在细点 ,二者真实值分别为零和一。任何只接收四个粗样本的确定性模型都无法判断输入是哪一个,因此不能同时精确超分辨。需要限制输入频带、增加观测、提供物理先验或接受条件性估计;“能在细网格运行”不是恢复任意连续函数的证明。
零样本超分辨率应在输入函数分布一致、物理域相同且参考细解独立的条件下评价。至少比较粗输入插值、传统数值细化和模型输出,并按频率或梯度强度分组。
FFT的周期延拓会影响非周期边界
标准DFT把数组视为周期信号,最后一个节点与第一个节点相邻。非周期Dirichlet、Neumann或混合边界若直接套用循环卷积,会跨边界传递虚假信息,并在不连续周期延拓处产生振铃。
四点值为 ,若周期规则用左右邻居平均,节点零的输出为 ,因为节点三被当作左邻居。若物理区间左端是固定Dirichlet边界零,节点三并不与节点零相邻,这个值没有物理依据。
可以固定边界输出、做有含义的延拓或padding、加入边界mask,或选用适合边界的正弦/余弦基与非周期算子。哪种方法正确取决于方程边界,不能用“FFT更快”替代边界定义。
padding后在扩展域FFT再裁回原域,可以减少直接首尾相接,但padding值本身定义了外部延拓。复杂几何、孔洞和非规则网格通常需要图、核或局部坐标算子,或先映射到参考域;映射Jacobian和网格质量会进入误差。
空间离散与损失都要带求积语义
均匀网格上未加权均方误差近似域积分;非均匀网格上应使用单元面积或求积权重。否则细密区域在训练中获得更高权重。不同分辨率混合训练时,直接对所有节点求平均会让每个样本总权重相近,但不一定对应相同物理积分精度。
输入输出标准化要按训练场统计并保留物理单位。逐样本缩放可抹去振幅依赖,逐网格统计又可能让同一函数在不同分辨率得到不同归一化。边界值、坐标和材料系数是否缩放需要分别说明。
三个节点代表单元权重 ,预测误差为 。未加权节点均方误差为 。
按物理积分权重,误差为 。两个结果不同,因为第三个零误差节点代表大部分区域。权重应由网格或求积定义,而不是为了让指标好看事后选择。
长期滚动会放大一步误差
有些神经算子一次映射输入到完整稳态解;另一些作为时间推进器反复应用 。训练一步误差小不保证长时间稳定。若局部误差满足
时误差可能放大, 时才有相应有界递推直觉。真实非线性系统还会有状态相关增长率和混沌敏感性。
取 、每步新误差 、初始误差零。上界依次为 ,,。
若只报告一步 ,会低估第三步误差。 时递推上界趋向 ;但从有限测试估计的经验Lipschitz不能替代全域稳定证明。应直接在部署时域滚动并检查物理量。
训练可混入多步损失、稳定性正则或数值积分结构,但每种方法改变优化目标和成本。时间外推需使用未参与选择的长轨迹,并区分相位误差、幅值误差和统计量误差。
守恒和边界不会由频域层自动获得
Fourier卷积可以表达全局关系,但一般参数不自动守恒质量、能量或动量,也不自动满足边界。可在输出后投影到约束集合、用守恒变量和通量参数化、加入物理损失,或采用结构保持层。软惩罚只鼓励约束,有限权重下仍会违反。
四个等权网格预测为 ,平均质量为 ,目标平均质量为一。把每点统一减 ,得到 ,新平均正好为一。
这个投影只修复一个线性全局约束,不保证局部通量、能量或正性;若某点原本接近零,统一减法还可能产生负值。结构修正必须匹配真正守恒律并评价对场误差的影响。
PDE残差可以揭示方程违反,但残差计算依赖导数、离散格式和边界。低残差不总意味着低解误差,尤其在病态、非唯一或错误系数问题中。应与高精度参考、网格收敛和守恒共同使用。
外推要按变化轴分层
同分布新输入场、训练参数范围边缘、更高雷诺数或频率、新边界、新几何和新方程是不同难度。参数可在新网格调用只涉及离散轴,不自动解决物理参数或几何外推。测试矩阵应一次改变一个轴,并保留组合移位作为更严格场景。
对失败样本按频谱、梯度、边界距离和守恒误差分组。若模态截断导致高频失败,增加宽度但不增加模态未必有效;若错误来自边界周期延拓,更多训练数据也可能只学到补偿而非正确结构。
计算比较必须在相同误差和任务上进行
规则网格FNO一层FFT成本近似 乘通道因子,稠密核积分近似 ,局部图算子随边数增长。FFT常数、复数通道、正逆变换和激活内存都需实测。传统求解器成本还取决于容差、预条件、时间步和是否复用分解。
网格点数 。一次标量FFT的典型操作量与 同阶;显式全位置两两交互含 对,约相差四千倍量级。
实际Fourier层要对多个通道做正逆FFT和频域矩阵乘法,不能直接把一百万当总操作;稠密核也可低秩或分块。最终应在同硬件、同批量和相同场误差下测端到端延迟与内存。
训练数据由高精度求解器生成时,离线成本可能远大于单次求解。只有在大量重复输入、实时约束或可摊销查询下,代理模型才可能有总成本优势。报告盈亏点比只报网络推理毫秒更有意义。
练习
查看提示
查看解答
查看提示
查看解答
查看提示
查看解答
查看提示
查看解答
查看提示
查看解答
查看提示
查看解答
概念关系
- 科学机器学习 提供数据、模型和科学约束框架。
- 泛函与函数空间映射 定义输入场到输出场算子。
- Fourier变换 支持频域模态和卷积计算。
- 偏微分方程数值方法 提供网格、边界和参考求解。
- DeepONet 提供branch/trunk坐标查询的对照。
- 动力系统综合复习 连接长期滚动和稳定性。
- 科学机器学习综合复习 汇总物理误差、外推和成本证据。
资源
Fourier Neural Operator for Parametric Partial Differential Equations
Zongyi Li, Nikola Kovachki, Kamyar Azizzadenesheli, Burigede Liu, Kaushik Bhattacharya, Andrew Stuart, Anima Anandkumar
用于核对 FNO 架构、基准和零样本超分辨率主张,并明确网格与分布外限制。
打开官方来源