A14 · 第 4 章 · 第二编 算子学习

神经算子

从函数空间映射和核积分层进入 Fourier 神经算子,解释模态截断、FFT计算与网格变化,并分析非周期边界、零样本超分辨率条件、守恒、长期稳定、外推和与数值求解器的成本比较。

报告页面错误
预备知识DeepONet 与算子逼近科学机器学习函数空间映射傅里叶变换

本章目标

  1. 区分有限网格网络与函数空间算子目标,并写出核积分型神经算子层。
  2. 逐步计算Fourier层的变换、模态截断、频域通道映射和逆变换。
  3. 说明参数可在不同网格调用的条件,以及零样本超分辨率不能恢复不可辨信息。
  4. 处理周期假设、边界条件、非规则几何和离散积分权重。
  5. 用场误差、守恒、残差、长期稳定、外推和同精度成本评价神经算子。
页面阅读位置0% · 仅保存在此浏览器
章节未开始
本册完成进度0/6 章 · 0%
本页目录

目标是跨输入场共享的函数空间映射

设输入函数 a:DRdaa:D\to\mathbb R^{d_a} 表示系数、初值或外力,输出函数 u=G(a):DRduu=\mathcal G(a):D'\to\mathbb R^{d_u} 表示解场。神经算子希望学习同一个 Gθ\mathcal G_\theta 处理一族输入函数,而不是为每个网格长度训练完全不同的有限维矩阵。

计算仍通过离散点完成。网格 Xh={xi}i=1NhX_h=\{x_i\}_{i=1}^{N_h} 上输入为 ah=(a(xi))a_h=(a(x_i)),输出为 uhu_h。所谓网格无关参数化是:层的规则可解释为连续核、局部函数或频率响应,并能在不同离散上近似同一规则。它不表示训练只见一个粗网格后,就已知道所有连续细节。

数据单位是一整个输入—输出场对。训练和测试应按输入场、方程参数或场景分组,不能把同一场的不同网格点随机拆开后声称跨函数泛化。

核积分层统一局部与非局部交互

一种抽象神经算子层写成

v+1(x)=σ(Wv(x)+Dκ(x,y)v(y)dy+b(x)).v_{\ell+1}(x)=\sigma\left( W_\ell v_\ell(x) +\int_D\kappa_\ell(x,y)v_\ell(y)\,dy +b_\ell(x) \right).

Wv(x)Wv(x) 是局部通道变换,核积分让位置 xx 读取全域 yy。离散实现用求积权重

jwjκ(xi,xj)v(xj)\sum_jw_j\kappa(x_i,x_j)v(x_j)

近似积分。若网格不均匀却忽略 wjw_j,节点密集区域会被过度计权。核若完全稠密,计算和存储随 N2N^2 增长;局部核、低秩分解、图邻域或频域卷积用于降低成本。

输入通常先经逐点lifting映射到宽通道 v0(x)v_0(x),经过多层算子后由逐点projection输出物理变量。坐标、边界mask和材料类型可作为额外通道,但它们的单位和变换必须在不同网格保持一致。

Fourier层在周期规则网格上高效实现全局卷积

对均匀周期网格上的特征 v(x)v(x),Fourier层先计算离散Fourier变换 v^(k)\widehat v(k),保留有限模态集合 KK,对每个模态用复矩阵 Rθ(k)R_\theta(k) 混合通道,再逆变换:

Kθv=F1(1kKRθ(k)v^(k)).\mathcal K_\theta v =\mathcal F^{-1}\left( \mathbf1_{k\in K}R_\theta(k)\widehat v(k) \right).

一层常把它与局部线性支路相加后激活。频域权重按模态编号共享于空间位置,参数量主要由保留模态和通道数决定,而不直接由网格点数决定。激活、FFT和输出数组仍随网格增长,运行内存并非分辨率无关。

例 1:四点信号的模态截断

周期四点信号为 v=(1,2,1,2)v=(1,2,1,2)。采用未归一正向DFT,其频谱为 (6,0,2,0)(6,0,-2,0):零模态表示均值,第二模态表示交替变化。若只保留零模态并做带 1/41/4 的逆变换,输出为 (1.5,1.5,1.5,1.5)(1.5,1.5,1.5,1.5)

原信号相邻高低交替,截断后只剩平均值。若保留第二模态并令相应权重为一,可恢复原交替部分。模态截断是模型结构选择,不等同于无损压缩;真实解的重要高频超过截断范围时会形成系统误差。

实值信号频谱具有共轭对称,频域参数和逆变换要保持实输出。非线性会重新产生高频,网格Nyquist频率以上的分量会混叠回低频;模态数、网格分辨率和必要的去混叠处理应共同选择。

模态编号共享让跨网格调用成为可能

若不同网格覆盖同一物理周期域、使用一致Fourier归一化,低模态 kk 具有相同物理含义。训练得到的 Rθ(k)R_\theta(k) 可在更细网格上作用于这些共同模态,逆FFT生成更多节点值。这是分辨率迁移的机制。

但输入粗采样已丢失的频率不可凭空恢复。细网格调用还要求输入插值、坐标尺度、边界、方程参数和输出定义一致。训练只覆盖平滑低频场时,在细网格输出平滑曲线可能合理;遇到冲击、湍流小尺度或新几何,新增节点不代表新增正确物理信息。

例 2:粗网格无法支持任意超分辨率

在周期区间 [0,1)[0,1) 的四点网格 x=(0,0.25,0.5,0.75)x=(0,0.25,0.5,0.75) 上,函数 a1(x)=0a_1(x)=0a2(x)=sin(4πx)a_2(x)=\sin(4\pi x) 的采样都为 (0,0,0,0)(0,0,0,0)

在细点 x=0.125x=0.125,二者真实值分别为零和一。任何只接收四个粗样本的确定性模型都无法判断输入是哪一个,因此不能同时精确超分辨。需要限制输入频带、增加观测、提供物理先验或接受条件性估计;“能在细网格运行”不是恢复任意连续函数的证明。

零样本超分辨率应在输入函数分布一致、物理域相同且参考细解独立的条件下评价。至少比较粗输入插值、传统数值细化和模型输出,并按频率或梯度强度分组。

FFT的周期延拓会影响非周期边界

标准DFT把数组视为周期信号,最后一个节点与第一个节点相邻。非周期Dirichlet、Neumann或混合边界若直接套用循环卷积,会跨边界传递虚假信息,并在不连续周期延拓处产生振铃。

例 3:循环邻居与非周期边界的冲突

四点值为 (0,1,2,3)(0,1,2,3),若周期规则用左右邻居平均,节点零的输出为 (3+1)/2=2(3+1)/2=2,因为节点三被当作左邻居。若物理区间左端是固定Dirichlet边界零,节点三并不与节点零相邻,这个值没有物理依据。

可以固定边界输出、做有含义的延拓或padding、加入边界mask,或选用适合边界的正弦/余弦基与非周期算子。哪种方法正确取决于方程边界,不能用“FFT更快”替代边界定义。

padding后在扩展域FFT再裁回原域,可以减少直接首尾相接,但padding值本身定义了外部延拓。复杂几何、孔洞和非规则网格通常需要图、核或局部坐标算子,或先映射到参考域;映射Jacobian和网格质量会进入误差。

空间离散与损失都要带求积语义

均匀网格上未加权均方误差近似域积分;非均匀网格上应使用单元面积或求积权重。否则细密区域在训练中获得更高权重。不同分辨率混合训练时,直接对所有节点求平均会让每个样本总权重相近,但不一定对应相同物理积分精度。

输入输出标准化要按训练场统计并保留物理单位。逐样本缩放可抹去振幅依赖,逐网格统计又可能让同一函数在不同分辨率得到不同归一化。边界值、坐标和材料系数是否缩放需要分别说明。

例 4:非均匀网格上的加权场误差

三个节点代表单元权重 (0.1,0.2,0.7)(0.1,0.2,0.7),预测误差为 (1,1,0)(1,1,0)。未加权节点均方误差为 (1+1+0)/3=2/3(1+1+0)/3=2/3

按物理积分权重,误差为 0.1(12)+0.2(12)+0.7(02)=0.30.1(1^2)+0.2(1^2)+0.7(0^2)=0.3。两个结果不同,因为第三个零误差节点代表大部分区域。权重应由网格或求积定义,而不是为了让指标好看事后选择。

长期滚动会放大一步误差

有些神经算子一次映射输入到完整稳态解;另一些作为时间推进器反复应用 ut+1=Fθ(ut)u_{t+1}=F_\theta(u_t)。训练一步误差小不保证长时间稳定。若局部误差满足

et+1Let+η,e_{t+1}\le L e_t+\eta,

L>1L>1 时误差可能放大,L<1L<1 时才有相应有界递推直觉。真实非线性系统还会有状态相关增长率和混沌敏感性。

例 5:三步滚动误差上界

L=1.1L=1.1、每步新误差 η=0.01\eta=0.01、初始误差零。上界依次为 e1=0.01e_1=0.01e2=1.1(0.01)+0.01=0.021e_2=1.1(0.01)+0.01=0.021e3=1.1(0.021)+0.01=0.0331e_3=1.1(0.021)+0.01=0.0331

若只报告一步 0.010.01,会低估第三步误差。L=0.9L=0.9 时递推上界趋向 0.01/(10.9)=0.10.01/(1-0.9)=0.1;但从有限测试估计的经验Lipschitz不能替代全域稳定证明。应直接在部署时域滚动并检查物理量。

训练可混入多步损失、稳定性正则或数值积分结构,但每种方法改变优化目标和成本。时间外推需使用未参与选择的长轨迹,并区分相位误差、幅值误差和统计量误差。

守恒和边界不会由频域层自动获得

Fourier卷积可以表达全局关系,但一般参数不自动守恒质量、能量或动量,也不自动满足边界。可在输出后投影到约束集合、用守恒变量和通量参数化、加入物理损失,或采用结构保持层。软惩罚只鼓励约束,有限权重下仍会违反。

例 6:用均值修正实现一个全局质量约束

四个等权网格预测为 (1.1,0.9,1.2,1.0)(1.1,0.9,1.2,1.0),平均质量为 1.051.05,目标平均质量为一。把每点统一减 0.050.05,得到 (1.05,0.85,1.15,0.95)(1.05,0.85,1.15,0.95),新平均正好为一。

这个投影只修复一个线性全局约束,不保证局部通量、能量或正性;若某点原本接近零,统一减法还可能产生负值。结构修正必须匹配真正守恒律并评价对场误差的影响。

PDE残差可以揭示方程违反,但残差计算依赖导数、离散格式和边界。低残差不总意味着低解误差,尤其在病态、非唯一或错误系数问题中。应与高精度参考、网格收敛和守恒共同使用。

外推要按变化轴分层

同分布新输入场、训练参数范围边缘、更高雷诺数或频率、新边界、新几何和新方程是不同难度。参数可在新网格调用只涉及离散轴,不自动解决物理参数或几何外推。测试矩阵应一次改变一个轴,并保留组合移位作为更严格场景。

对失败样本按频谱、梯度、边界距离和守恒误差分组。若模态截断导致高频失败,增加宽度但不增加模态未必有效;若错误来自边界周期延拓,更多训练数据也可能只学到补偿而非正确结构。

计算比较必须在相同误差和任务上进行

规则网格FNO一层FFT成本近似 O(NlogN)O(N\log N) 乘通道因子,稠密核积分近似 O(N2)O(N^2),局部图算子随边数增长。FFT常数、复数通道、正逆变换和激活内存都需实测。传统求解器成本还取决于容差、预条件、时间步和是否复用分解。

例 7:FFT与稠密位置交互的量级

网格点数 N=65536=216N=65536=2^{16}。一次标量FFT的典型操作量与 Nlog2N=1,048,576N\log_2N=1,048,576 同阶;显式全位置两两交互含 N2=4,294,967,296N^2=4,294,967,296 对,约相差四千倍量级。

实际Fourier层要对多个通道做正逆FFT和频域矩阵乘法,不能直接把一百万当总操作;稠密核也可低秩或分块。最终应在同硬件、同批量和相同场误差下测端到端延迟与内存。

训练数据由高精度求解器生成时,离线成本可能远大于单次求解。只有在大量重复输入、实时约束或可摊销查询下,代理模型才可能有总成本优势。报告盈亏点比只报网络推理毫秒更有意义。

练习

练习 1:函数空间目标
说明神经算子与固定维矩阵回归的差异。
查看提示
区分共享参数化与具体网格数组。
查看解答
目标是a函数到u函数的同一算子;网格只提供离散观测。参数可跨网格调用不表示连续解已被精确恢复,切分单位应是输入场。
练习 2:Fourier层
写出一层FNO的数据流。
查看提示
按FFT、截断、频域通道映射、逆FFT四步写。
查看解答
先算v的频谱,只在保留模态乘Rθ(k)R\theta(k),未保留模态置零,再逆变换并与局部支路组合;模态截断会丢失高频信息。
练习 3:超分辨率边界
证明细网格调用不等于任意精确超分辨率。
查看提示
构造两个连续函数在粗网格同值、细网格不同。
查看解答
粗样本相同则任何确定性模型输入相同,无法恢复两种细节;零样本细化只在同域、同算子和受限平滑或频带分布下评价。
练习 4:非周期边界
解释标准Fourier层的边界风险。
查看提示
DFT会把末点与首点相邻。
查看解答
直接FFT隐含周期延拓,非周期边界会产生跨边界交互;可用有物理含义的延拓、padding、边界mask、适配基或其他算子,并单独检查边界误差。
练习 5:长期稳定
说明为何一步准确率不能证明长期稳定。
查看提示
一步误差通过下一次状态输入继续传播。
查看解答
用部署时域直接滚动,报告误差随时间、守恒和状态范围;一步损失小不约束迭代映射增益,L大于一时误差可累积放大。
练习 6:综合验收
设计神经算子与数值求解器的比较。
查看提示
同时包含离散、物理、外推和成本。
查看解答
按函数报告绝对/相对场误差、最大误差、网格收敛、边界、残差、守恒、长时稳定;分层测试网格与物理移位,并在同误差下比较含训练摊销的成本。

概念关系

资源

论文 · 2021

Fourier Neural Operator for Parametric Partial Differential Equations

Zongyi Li, Nikola Kovachki, Kamyar Azizzadenesheli, Burigede Liu, Kaushik Bhattacharya, Andrew Stuart, Anima Anandkumar

用于核对 FNO 架构、基准和零样本超分辨率主张,并明确网格与分布外限制。

打开官方来源