微软DeepSpeed团队在GitHub开源了DeepCompile项目,通过引入编译技术显著提升分布式训练性能。该项目针对训练过程中的瓶颈操作进行深度优化,采用改进版的torch compile实现算子融合与代码生成,实测可使关键操作获...
Read MoreAI可解释性领域领军企业Goodfire近日宣布完成5000万美元A轮融资。该公司在稀疏自编码器(SAEs)等机械可解释性技术上具有深厚积累,致力于通过与闭源及开源模型提供方的深度合作,系统性地解析、引导和控制AI模型的...
Read More法国人工智能初创公司Mistral近日推出了一项创新产品,该产品使用户能够快速构建和部署针对多种任务的定制分类器,如垃圾邮件过滤、内容审核等。这一技术的推出标志着AI模型微调领域的重大进步,特别是在处理特定领...
Read MorePrima CPP是llama.cpp的一个扩展项目,旨在通过内存映射(mmaping)技术,使大型模型能够在低内存环境中高效运行。这一技术突破为资源受限的设备部署先进AI模型提供了可能,尤其适用于边缘计算和移动端场景。通过优...
Read More人工智能研究机构Prime Intellect近日取得重大突破,成功通过完全分布式的方式训练了一个参数量高达320亿(32B)的神经网络模型,并创新性地结合强化学习技术提升模型的推理能力。值得关注的是,该团队已将其核心训...
Read MoreOpenAI目前处于开发自家类似X社交媒体网络的初级阶段,该公司已有包含专注于ChatGPT图像生成的社交信息流的内部原型。尚不清楚OpenAI计划推出该社交网络作为独立应用程序,还是计划将其整合进ChatGPT应用中。拥有社...
Read MoreNVIDIA在GitHub开源项目TensorRT-LLM中发布了名为Auto Deploy的创新工具,该技术实现了将PyTorch和Hugging Face模型转化为高效可部署格式的重大突破。通过TensorRT-LLM的优化编译器,模型推理速度可提升数倍,特别适...
Read MoreMeta公司新推出的Llama 4模型套件包含了四款全新的AI模型,分别是Maverick、Scout、Behemoth和Reasoning。Maverick与Scout两款模型现已开放下载,用户可以在Llama官网以及Hugging Face平台获取,并已集成至Meta AI系...
Read More