最近的一项研究表明，与解码器相比，使用UNet编码器在扩散模型中表现更加稳定。这一发现导致了一种新的编码器传播方案，显著加快了文本到图像和文本到视频生成等任务的速度。该研究成果已在GitHub上发布。

Kandinsky Video采用双阶段文本到视频生成技术。首先，它通过关键帧来勾勒视频的故事情节，然后平滑过渡和移动，大大提高了视频质量并降低了计算要求。

LLaVa是一种从文本模型训练多模型的方法。现在它可以用于视频。基于Vicuna的结果模型非常强大，可以轻松实现视频摘要和字幕的最新表现。

I2VGen-XL模型采用双阶段方法解决视频合成中的挑战，例如保持语义准确性和清晰、连续的图像，首先将语义连贯性与视频质量增强分开处理。第一阶段专注于保留静态图像的内容，第二阶段则细化细节和分辨率。

Video2Music的AI框架利用独特的数据集和经过用户研究验证的转换器模型为视频生成情感上相符的音乐。

单个提示生成单个图像通常很好，但在生成视频时由于帧之间的时间变化而失败。 然而，更改文本时的一致性非常具有挑战性。 这项工作解决了这两个问题，并利用扩散技术实现了长达512帧的生成。

自动视频生成作为一个新兴的研究领域，已经引起了广泛的关注。其中，故事延续、故事混搭等任务的衡量标准十分复杂。谷歌最新推出的视频生成基准测试工具，希望能帮助这一领域取得进一步的进展。通过这个基准测试，研...

本论文提出了一种新的方法，用于从文本生成一致且高质量的视频。它通过使用经过调整的图像模型创建关键帧，然后利用特殊的匹配和混合技术将这些样式传播到整个视频中，从而产生外观出色且流畅的视频。