上下文窗口的大小一直是大型语言模型在处理长文本任务时的关键瓶颈。近日，初创公司Subquadratic宣布推出一款全新的AI模型，其上下文窗口达到了惊人的1200万token（约合1200万个单词或代码标记），远超过当前主流模...

在大型语言模型（LLM）和视觉语言模型（VLM）部署中，模型量化是降低计算和存储成本的关键技术。然而，传统量化方法往往需要在模型大小和推理精度之间做出艰难取舍，尤其是在超低位宽（如2-bit、3-bit）下，精度损失...

PyTorch官方博客近日发布了一项名为AutoSP的创新技术，该技术旨在自动化地将标准Transformer训练代码转换为序列并行代码，用于长上下文大语言模型（LLM）的训练。AutoSP已与微软的DeepSpeed框架深度集成，使得开发者...

NVIDIA日前发布了名为Nemotron 3 Nano Omni的全新多模态模型，标志着其在长上下文多模态智能领域的重要进展。该模型专为文档、音频和视频分析设计，在MMlongbench-Doc和VoiceBench等多个权威基准测试中均取得了业界...

近日，GitHub上一个名为‘soulplayer-c64’的开源项目引发了技术社区的广泛关注。该项目成功地在仅有1MHz主频、内存极其有限的经典计算机Commodore 64上，部署并运行了一个拥有25,000个参数的真实Transformer神经网络...

近日，开源社区推出一项旨在提升AI模型移植与代码审查效率的新工具——Skill and Test Harness。该工具专为将Transformer模型移植至苹果MLX框架（mlx-lm）而设计，通过自动化处理模型转换任务，显著降低了开发者的贡献...

DeepMind的研究团队近日在arXiv上发布了一项名为“弹性循环Transformer”的创新工作，为视觉生成模型领域带来了显著的效率突破。传统视觉生成模型通常依赖堆叠大量独立的Transformer层，导致参数量庞大。ELT的核心创新...

近日，OpenMed团队在Hugging Face平台发布了一项重要成果，展示了其构建的端到端蛋白质AI全流程。该流程涵盖了蛋白质结构预测、序列设计以及关键的密码子优化环节。研究团队对多种Transformer架构进行了深入的密码子...