近日，研究人员开发出了一种名为PAM的工具，它使用音频语言模型对音频质量进行评估，无需参考曲目或专业培训。PAM通过深度学习算法，将音频数据转化为分布式表示形式，并将其与质量分数进行关联。据研究人员介绍，PA...

该项目提出了一种新颖的增强Transformer的方法，使用来自不同模态的无关数据，例如使用音频数据来改善图像模型。多模式路径独特地连接了两种不同模态的Transformer，使目标模态能够从另一种模态的优势中受益。

DiffMoog是一种新的音频技术，它将模块化合成器的多功能性与神经网络的强大结合起来。它可以实现自动化声音匹配和定制声音的创建，使其成为音频合成的有价值的工具。该技术已在GitHub上发布。

Tiny Narrations是一个基于最受欢迎的Tiny Stories数据集的文本转语音版本。它使用SF Compute H100集群上的XTTS2。这个系统可以将短小精悍的故事转化为音频文件，方便用户在不同场景下收听。这个系统的优点是使用了...

大多数音频生成技术使用扩散或自回归模型来生成声音。而这项研究并不使用多步骤或复杂的Transformer。相反，它使用了一个掩码语言模型来生成音频令牌。

SpeechAgents是一个多模态人工智能系统，能够以惊人的真实度模拟人类的交流。这个系统由多模态LLM支持，可以处理多达25个代理人。它可以通过模仿人类对话，包括连贯的内容、真实的节奏和表达丰富的情感，来创造戏剧...

VideoPoet是一种语言模型，能够从各种各样的条件信号中合成高质量的视频和相应的音频。

MossFormer2模型是MossFormer的改进版，该模型在单声道语音分离方面具有更好的性能。在MossFormer2中，通过引入一个基于复数的非线性激活函数和一个基于深度可分离卷积的上下采样结构，从而提高了模型的分离能力。此...

Google的VideoPoet是一种开创性的语言模型，它在处理文本到视频，视频风格化甚至视频到音频转换等多种任务方面具有独特的能力。这种方法通过将多种视频生成技术融合到一个模型中而脱颖而出。VideoPoet的革命性技术为...

Meta最近发布了一篇关于音频AI基础模型的论文，并发布了更多的样本和引人入胜的演示。该项目的主要目标是生成可控制风格的音频内容，所有风格都来自同一个模型。