近期一篇综述文章关注循环深度Transformer(recurrent-depth transformers)的进展。这类架构在多个前向传递中重复使用相同的Transformer模块,从而在保持计算量不变的前提下显著降低参数存储开销。文章进一步探讨了...
Read MoreZeroModels 是一个完全基于 Keras 3 构建的预训练模型集合,覆盖图像分类、目标检测、分割、单目深度估计、特征提取、视觉语言模型和语音识别等任务。该项目最大的亮点在于同一套代码可原生运行在 JAX、PyTorch 和 T...
Read More英伟达今日正式发布Cosmos 3,这是一款面向物理AI的开源世界基础模型,标志着AI在理解与生成物理世界能力上的重大突破。Cosmos 3采用了创新的混合专家变换器(Mixture-of-Transformers)架构,将视觉推理、世界生成...
Read More在大型语言模型(LLM)和视觉语言模型(VLM)部署中,模型量化是降低计算和存储成本的关键技术。然而,传统量化方法往往需要在模型大小和推理精度之间做出艰难取舍,尤其是在超低位宽(如2-bit、3-bit)下,精度损失...
Read More近日,开源社区推出一项旨在提升AI模型移植与代码审查效率的新工具——Skill and Test Harness。该工具专为将Transformer模型移植至苹果MLX框架(mlx-lm)而设计,通过自动化处理模型转换任务,显著降低了开发者的贡献...
Read More近日,通义千问团队在Hugging Face平台正式发布了Qwen3.5-35B-A3B模型。该模型集成了当前人工智能领域的多项前沿技术突破,旨在通过开源方式推动AI技术的民主化与普及。其核心亮点在于原生支持高达262,144个令牌的上...
Read More人工智能开源社区Hugging Face近日在NPM上发布了Transformers.js v4的预览版本,标志着在Web端及JavaScript生态系统中部署和运行机器学习模型的能力迈入了新的阶段。Transformers.js的核心价值在于允许开发者直接在...
Read More作为图神经网络(GNN)的共同创建者,斯坦福大学背景的专家最新指出,图Transformer正在成为结构化数据处理的新范式。该技术通过注意力机制替代传统消息传递方式,能够更有效地建模关系型数据中隐含的图结构。企业核...
Read More