本文通过引入一种基于有损压缩的复杂度度量方法，揭示了神经网络训练-20241222052635

本文通过引入一种基于有损压缩的复杂度度量方法，揭示了神经网络训练过程中复杂性动态与Grokking现象之间的关系，并提出了一种新的谱熵正则化方法来提高模型泛化能力，其反直觉的发现挑战了传统对模型复杂性和泛化能力之间关系的理解。