这个代码库引入了一种新型的Transformer变压器，其KV缓存大小大幅度减少。虽然尚未在大规模上得到证实，但理论上，它可以匹配常规变压器的性能。这意味着，我们现在有了一种新的工具，可以在处理复杂的计算问题时，...

为满足对详细3D数据的日益增长的需求，研究人员推出了Point-SAM，这是一种基于变革者的3D分割模型。这个模型将大大提高3D数据处理的效率和精度。与传统的3D分割技术相比，Point-SAM能够提供更精细的数据，从而更好地...

近日，一款名为Director3D的新框架引起了行业内的广泛关注。这款框架的设计目标是提升现实世界3D场景的生成和相机轨迹的模拟。Director3D运用了一种名为轨迹扩散变换器（Trajectory Diffusion Transformer）和多视图...

GeoMFormer是一种全新的基于Transformer的模型，旨在通过学习不变量和等变量特征来改进分子模型。这种模型的设计，彻底改变了传统分子建模的方法，为化学和生物科学的研究者提供了新的视角和工具。GeoMFormer的出现...

Etched近日宣布完成由Primary Venture Partners和Positive Sum Ventures主导的1.2亿美元融资，天使投资人包含Peter Thiel，Stanley Druckenmiller和David Siegel等。Etched正在与TSMC的新兴业务集团直接合作，以在其...

最近，一款名为June的本地语音聊天机器人引起了业界的注意。这款聊天机器人结合了Ollama、Hugging Face Transformers和Coqui TTS Toolkit的技术，实现了高效的人工智能对话功能。“June”通过这三种强大的工具，可以模...

Logit Lens方法已经得到了增强，该方法通过分解logit输出，帮助我们理解Transformer模型的决策过程。这种方法使用“prisms”来处理残差流，注意力层和MLP层，揭示了这些部分如何影响预测，并为gemma-2b模型执行的诸如...

当前，大多数用于Transformers的计算花费在线性层上。这项工作利用muP和Monarch矩阵构建了一个结构化表示，不仅减少了计算量，而且比原始的密集层拥有更好的扩展规则。这项技术可以提高计算效率，降低运算成本，为AI...

Mamba作为一种强大的Transformer替代方案，因其能够在保持性能的同时使用更少的FLOPs而备受关注。然而，最新研究表明，对于某些应用来说，Mamba可能并非必需。该研究通过实验表明，一个经过精心调优的CNN基线在一系...

LeMeViT是一种新的方法，通过使用可学习元令牌来降低视觉Transformer的计算成本。这些元令牌能够高效地捕捉关键信息，从而显著提高推理速度。与传统的视觉Transformer相比，LeMeViT在保持高精度的同时，大幅减少了计...