这项研究介绍了一种创新的视频生成方法，使用状态空间模型（SSMs）克服了传统的基于注意力扩散模型的内存限制，重点关注线性内存消耗。在UCF101和MineRL Navigate数据集的测试中，SSMs能够创建具有竞争力质量的更长...

Sasha Rush发布了一份注释教程，介绍了如何使用自定义Triton内核加速Mamba。由于Triton编译器中的一个错误，它目前无法扩展，但它是技术的极端演示，并适合那些想要深入了解状态空间变换器替代品的人。Mamba是一种用...

医学视频中的目标分割一直是医学影像处理的难点之一。近日，研究人员提出了一种名为 Vivim 的新型医学视频目标分割框架，该框架通过采用状态空间模型的方法对时空数据进行高效压缩，从而在更短的时间内实现更加准确...

扩散模型是一种强大的工具，可以将强化学习性能提升至新的高度。最近，一位研究团队建立了一个GitHub仓库，详细介绍了扩散模型在强化学习中的应用，并展望了未来的跨学科研究机会。扩散模型是一种模拟物质传播的方法...

近来，Transformer模型在AI领域占据统治地位。它们是强大的序列学习器，但也存在一些缺点。这项新工作基于状态空间模型，展示了新的架构可以带来巨大的好处，如增加上下文长度。

现代大多数扩散模型都使用了注意力机制，但并非所有模型都如此。最近，对状态空间的兴趣浪潮已经传到了扩散模型中，这为理论加速和有趣的应用开辟了道路。扩散模型是一种机器学习模型，用于对自然界中的信号进行建模...

最近，状态空间模型引起了广泛关注。它们作为一种潜在有用的模型替代方案而出现，通过避开Transformer的一些挑战性方面，同时保持性能。在这项工作中，Hyena模型被应用于DNA序列建模，并在23个任务中取得了改进。