现在，你可以通过在模型的首次运行中将一些懒加载移动到模型上，以极小的每秒令牌损失来显著提升模型初始化的速度。这种改进将大大提升模型运行效率，为用户带来更流畅的体验。

最近，GitHub仓库发布了一款名为minRF的新工具。这个工具主要使用了可扩展的矩形流转换器，部分用于Stable Diffusion 3。这个仓库是一种最小化实现，同时也包括muP超参数扫描功能。可扩展的矩形流转换器是一种强大的...

最近，一种新型的循环神经网络（RNN）变体在多项任务中的表现超过了Mamba。这种新型的RNN变体的重要特点是其更新函数本身就是一个机器学习（ML）模型。这使得它可以处理长上下文和在上下文中进行学习。在现今的机器...

Kyutai，一家法国的开放研究实验室，成功地训练出一款具有极低延迟的纯音频LLM。他们成功地创建了一个令人印象深刻的演示，将在未来几个月内开源。Kyutai的这项工作表明，纯音频LLM的实现并不遥不可及，只是需要在技...

这个代码库引入了一种新型的Transformer变压器，其KV缓存大小大幅度减少。虽然尚未在大规模上得到证实，但理论上，它可以匹配常规变压器的性能。这意味着，我们现在有了一种新的工具，可以在处理复杂的计算问题时，...

近期，一项新的研究将网络文本视为来自某种“人格”，并以此作为条件，显著提高了下游任务的性能。研究人员发现，在数学领域，这种方法使性能提升了20个百分点。这项研究的方法是通过大规模网络文本数据，创造出约10亿...

人工智能视频生成平台HeyGen已经成功获得了6000万美元的A轮融资，资金将用于增强其快速、经济有效地创建和本地化工作室质量视频的工具。HeyGen最近的盈利情况良好，年复合增长率达到3500万美元，公司的目标是让所有...

为满足对详细3D数据的日益增长的需求，研究人员推出了Point-SAM，这是一种基于变革者的3D分割模型。这个模型将大大提高3D数据处理的效率和精度。与传统的3D分割技术相比，Point-SAM能够提供更精细的数据，从而更好地...