DiScoFormer：单一Transformer模型，跨分布同时估计密度与得分，性能碾压传统KDE
talkingdev • 2026-06-30
1856 views
近日，AI2研究团队在Hugging Face博客上发布了DiScoFormer模型，这是一种基于Transformer架构的创新方法，能够在单次前向传播中同时完成数据的密度估计和得分函数估计，而无需针对新分布进行重新训练。与经典的核密度估计（KDE）相比，DiScoFormer在处理高维数据时展现出显著优势：在100维空间中，其得分误差降低了6.5倍，密度误差降低了超过37倍。该模型的核心创新在于利用交叉注意力机制，使其能够动态适应新的数据分布，从而大幅提升生成式建模和贝叶斯推断的准确性。DiScoFormer通过高斯混合模型进行训练，这赋予其强大的泛化能力，使其能够迅速迁移至未见过的数据分布。这一成果为密度估计和基于得分的生成模型领域提供了一种高效、灵活的新工具，尤其适用于复杂高维数据场景，如分子构象生成、图像合成及异常检测等，具有重要的学术价值与广泛的应用前景。
核心要点
- DiScoFormer通过交叉注意力机制实现对新数据分布的即时自适应，无需重新训练，显著提升了生成式建模与贝叶斯推断的准确性。
- 在高维（如100维）数据场景下，DiScoFormer的得分误差比经典KDE降低6.5倍，密度误差降低超过37倍，性能大幅领先。
- 该模型以高斯混合模型为训练基础，具备强大的跨分布泛化能力，为复杂数据下的密度和得分联合估计提供了全新的解决方案。