本文深入探讨了如何训练扩散模型以生成视频，如何适配图像模型，甚至在无需额外训练的情况下，如何从图像模型中生成视频。扩散模型作为一种新兴的生成模型，已经在图像生成领域取得了显著的成果。文章首先介绍了扩散...

VideoElevator引入了一种新的方法，通过利用文本到图像模型的优势来增强文本到视频扩散模型。这种即插即用的方法将增强过程分为了调整时间运动和提升空间质量两个部分，从而产生了帧质量和文本对齐得到了提高的视频...

MobileClip是一个快速的文本和图像模型，与OpenAI的原始CLIP模型性能相同，但运行速度提高了7倍。它可以在设备上用于各种视觉和语言任务。

稳定扩散 3 通过其新颖的多模态扩散转换器架构，通过文本和图像的分别处理权重，提高了提示理解和排版，优于领先的文本到图像模型，为AI生成的视觉内容带来了进步。

研究人员开发了一种基于文本提示进行图像编辑的独特方法。这种方法使用文本到图像模型和边界框生成器来识别需要编辑的区域，从而无需蒙版或草图即可进行更改。该方法可实现文本驱动的图像编辑，可以大大提高图像编辑...

Stable Cascade模型是一种新的仅用于研究的文本到图像模型，其在美学、提示忠实度和文本质量方面优于SDXL。它是使用Würstchen架构进行训练的，并具有多步架构，使调整变得容易。该模型的稳定性能够有效地提高图像生...

由于LAION等大规模数据集的删除，以及版权问题，使得训练大规模图像模型变得具有挑战性。但是，这项工作表明，使用3000万个全合成的图像可以训练出强大的CLIP模型。

该项目提出了一种新颖的增强Transformer的方法，使用来自不同模态的无关数据，例如使用音频数据来改善图像模型。多模式路径独特地连接了两种不同模态的Transformer，使目标模态能够从另一种模态的优势中受益。