Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.094 — 2026-10-06
PAPER 约 1 分钟

神经网络雅可比谱出现相变

理论研究发现,激活函数可让神经网络的梯度传播状态发生“换挡”

把深层神经网络想成一串音量旋钮:信号每过一层,都可能被放大或压低,最后变得失真。Jacobian 矩阵记录网络输出对输入的局部变化率;它的奇异值反映不同方向上的信号和梯度会增强还是衰减。这项获 Annals of Statistics 接收的理论工作,研究随机初始化、网络宽度趋大时,Jacobian 及其 Gram 矩阵的整体规律。据南京审计大学统计与数据科学学院介绍,作者为李慧琴、潘光明和尹燕青。

论文最值得注意的发现是:更换激活函数——决定神经元如何响应输入的规则——可能让谱的宏观行为越过临界条件后突然“换挡”,形成相变,而非缓慢变化。作者还证明了极限谱分布的收敛,并用中心极限定理刻画有限宽度网络在这一极限附近的随机波动。换句话说,它不只描述无限宽网络的平均图景,也试图给现实网络的稳定性诊断标出误差范围。不过,现有摘要未披露相变的具体临界条件,暂不能据此直接给出初始化或激活函数的工程配方。


供稿材料 SOURCES — 1

← 返回 2026-10-06 · 数据板块