Tile Language是一种简洁的领域特定语言（DSL），旨在简化和优化高性能GPU/CPU内核（如GEMM、Dequant GEMM、FlashAttention和LinearAttention）的开发流程。该语言采用类似Python的语法，并基于TVM（Tensor Virtual...

M1是一种基于Mamba架构的推理模型，通过扩展测试时间计算进行训练。虽然尚未完全达到最先进模型的水平，但M1在长上下文处理和高吞吐量任务中表现出色。这一突破为大规模语言模型的推理效率提供了新的研究方向，特别...

NVIDIA在GitHub开源项目TensorRT-LLM中发布了名为Auto Deploy的创新工具，该技术实现了将PyTorch和Hugging Face模型转化为高效可部署格式的重大突破。通过TensorRT-LLM的优化编译器，模型推理速度可提升数倍，特别适...

OpenAI近日将其内部研发的高性能计算核心——FP4（4-bit浮点）与MoE（混合专家）系统的关键算子通过GitHub PR开源至Triton语言项目。这一举动标志着AI基础设施领域的重要进展：FP4作为新兴的低精度计算格式可显著提升...

AllenAI最新推出的Data Decide工具为预训练过程中的数据筛选提供了创新解决方案。这一框架能够帮助研究人员和开发者更科学地评估和选择预训练数据，显著提升模型训练效率和质量。该工具通过系统化的评估指标，量化不...

Pinterest研究团队在arXiv最新发表的论文中，提出了一种革命性的多任务学习框架——深度分层集成网络（Deep Hierarchical Ensemble Networks），该技术通过特征组合与辅助学习的协同机制，在广告系统转化率（CVR）预测...

谷歌近日基于其Gemma模型系列推出了专为医疗科学领域优化的TxGemma开源模型。该模型在治疗方案的发现方面展现出卓越性能，不仅超越了大多数专用模型，还在所有开源通用模型中表现最佳。TxGemma的发布标志着人工智能...

近日，轻量级视觉语言模型MoonDream迎来2.0版本重大更新。这款仅含20亿参数的VLM（Vision-Language Model）在最新测试中展现出惊人实力，其性能不仅超越多个同量级开源模型，甚至在部分基准测试中优于参数规模更大的...