微软DeepSpeed团队在GitHub开源了DeepCompile项目,通过引入编译技术显著提升分布式训练性能。该项目针对训练过程中的瓶颈操作进行深度优化,采用改进版的torch compile实现算子融合与代码生成,实测可使关键操作获...
Read MoreHugging Face平台最新发布的SIFT-50M(Speech Instruction Fine-Tuning)数据集,是一个包含5000万样本的大规模语音指令微调数据集,专为语音-文本大语言模型(LLMs)的指令微调和预训练而设计。该数据集基于公开可...
Read More斯坦福大学研究团队最新推出的JudgeLRM模型家族,通过强化学习训练机制在复杂推理评判任务中展现出突破性性能。该技术采用与标准监督微调(SFT)截然不同的训练范式,在需要深度逻辑分析的评估场景下,其综合表现显...
Read MorePrima CPP是llama.cpp的一个扩展项目,旨在通过内存映射(mmaping)技术,使大型模型能够在低内存环境中高效运行。这一技术突破为资源受限的设备部署先进AI模型提供了可能,尤其适用于边缘计算和移动端场景。通过优...
Read MoreNVIDIA在GitHub开源项目TensorRT-LLM中发布了名为Auto Deploy的创新工具,该技术实现了将PyTorch和Hugging Face模型转化为高效可部署格式的重大突破。通过TensorRT-LLM的优化编译器,模型推理速度可提升数倍,特别适...
Read MoreOpenAI近日将其内部研发的高性能计算核心——FP4(4-bit浮点)与MoE(混合专家)系统的关键算子通过GitHub PR开源至Triton语言项目。这一举动标志着AI基础设施领域的重要进展:FP4作为新兴的低精度计算格式可显著提升...
Read More近日,轻量级视觉语言模型MoonDream迎来2.0版本重大更新。这款仅含20亿参数的VLM(Vision-Language Model)在最新测试中展现出惊人实力,其性能不仅超越多个同量级开源模型,甚至在部分基准测试中优于参数规模更大的...
Read More谷歌云在Next 25大会上宣布Vertex AI迎来重大更新,其视频、图像、语音及音乐生成模型获得增强功能,显著提升企业创意工作流的智能化水平。谷歌AI推出面向企业的专用AI代理解决方案,通过优化任务自动化流程实现生产...
Read More