Anyscale研究团队近期对TRL、Verl、OpenRLHF等九大开源强化学习框架进行了系统性评测，涵盖采用度指标、系统特性和技术架构三大维度。该研究为开发者选择适合RLHF（人类反馈强化学习）、推理模型或智能体训练场景的...

PyTorch工程师团队通过分布式检查点（DCP）中的模块化压缩技术，成功将检查点文件体积减少22%。这项突破性优化显著降低了分布式训练过程中的存储占用和带宽消耗。文章详细阐述了该技术的集成步骤和关键设计选择，包...

上海科研团队最新发布的DiTorch和DiComm技术框架，突破了AI训练对同构硬件的依赖。该创新通过统一编程接口整合NVIDIA、AMD等异构芯片架构，在1,024块规格差异显著的芯片集群上训练千亿参数模型时实现116%的超线性效...

谷歌最新一期Release Notes播客深度解析了I/O 2025大会的AI技术突破，重点介绍了三大核心创新：1) Gemini 2.5 Pro Deep Think作为下一代多模态AI系统，通过增强的递归神经网络架构实现复杂逻辑推理，其万亿级参数规...

DeepSeek研究团队以DeepSeek-V3为案例，分享了大型语言模型（LLM）训练中的硬件-模型协同设计创新成果。该研究通过多头部潜在注意力机制（Multi-head Latent Attention）、专家混合系统（Mixture of Experts）、FP8...

Nous Research近期推出的Psyche网络是一个基于Solana区块链的分布式训练系统，该系统允许拥有兼容硬件的用户自愿贡献其GPU资源用于AI模型训练。该项目的首个计划"Consilience"旨在利用20万亿个token训练一个拥有400...

GitHub开源项目TScale提出了一种创新性的分布式训练解决方案，允许开发者在消费级GPU集群上高效运行大规模模型训练。该项目通过优化通信协议和资源调度算法，显著降低了分布式训练的硬件门槛，使中小型研究团队也能...

Fed-SB研究团队在arXiv最新论文中提出了一种突破性的联邦学习框架LoRA-SB，该技术通过低秩自适应(Low-Rank Adaptation, LoRA)方法实现大型语言模型(LLM)的高效分布式微调。这一创新方案通过参数高效微调(PEFT)技术，...