漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2025-09-16 talkingdev

PyTorch与vLLM联手实现分解式推理,大幅提升大语言模型生产环境性能

Meta公司内部团队与vLLM、PyTorch展开深度技术合作,成功推出预填充/解码分离技术(prefill/decode disaggregation),这项突破性技术显著提升了大规模语言模型在生产环境中的推理性能。通过将推理过程分解为预填充...

Read More
2025-09-16 talkingdev

开源|RustGPT:纯Rust编写的Transformer架构大语言模型

RustGPT是一项具有里程碑意义的开源项目,它首次实现了完全基于Rust编程语言的大型语言模型(LLM)开发,不依赖任何外部机器学习框架。该项目采用纯Rust代码构建,仅使用ndarray库进行矩阵运算,彻底摆脱了对PyTorch...

Read More
2025-09-04 talkingdev

AI生成Metal内核将PyTorch在苹果设备推理速度提升87%

研究人员通过前沿AI技术实现了重大突破:利用自主生成的Metal GPU内核,将PyTorch在苹果设备上的推理速度平均提升1.87倍。这项研究测试了215个PyTorch模型,其中部分工作负载甚至达到基线性能的数百倍加速。该技术采...

Read More
2025-09-01 talkingdev

深度解析并行化策略:PyTorch与JAX设备网格架构揭秘

当前深度学习训练规模不断扩大,如何高效利用多GPU资源成为关键挑战。最新技术分析揭示了并行化策略的核心在于设备网格(Device Mesh)的智能架构设计。设备网格作为PyTorch和JAX框架的核心抽象,将GPU集群组织为N维...

Read More
2025-08-21 talkingdev

开源|Luminal:基于搜索的开源GPU编译器,可自动为AI模型生成高性能内核

Luminal是由开发者Joe及其团队构建的一款创新型开源GPU编译器,专门针对AI模型自动生成高度优化的GPU内核。与传统机器学习库不同,Luminal采用搜索式编译方法:它将高级模型代码(如PyTorch格式)转换为底层GPU代码...

Read More
2025-07-03 talkingdev

PyTorch DCP采用模块化压缩技术将检查点体积缩减22%

PyTorch工程师团队通过分布式检查点(DCP)中的模块化压缩技术,成功将检查点文件体积减少22%。这项突破性优化显著降低了分布式训练过程中的存储占用和带宽消耗。文章详细阐述了该技术的集成步骤和关键设计选择,包...

Read More
2025-06-30 talkingdev

PyTorch与vLLM深化集成,提升大语言模型推理效率

PyTorch与vLLM近日宣布深化技术整合,新增支持量化、注意力机制定制及异构硬件加速等关键功能。这一合作标志着两大开源框架在优化大语言模型(LLM)推理性能方面取得重要突破:量化技术可降低模型计算资源消耗达4-8...

Read More
2025-06-19 talkingdev

DeepNVMe重大升级:扩展模型检查点与推理支持,引入PCIe Gen5 NVMe扩展能力

DeepNVMe最新版本实现了多项突破性升级:首先扩展了对模型检查点(checkpointing)和推理工作负载的支持,使深度学习框架能更高效地管理训练中间状态;其次新增PCIe Gen5 NVMe的扩展能力,显著提升存储带宽以应对大...

Read More
  1. 1
  2. 2
  3. 3
  4. Next Page