近日，分布式计算公司Prime Intellect宣布成功完成1500万美元的融资。此次融资将用于进一步推动其分布式训练方案的发展。Prime Intellect致力于通过分布式计算技术优化大规模数据处理和模型训练的效率，其独特的分布...

近日，DeepSeek宣布开源其内部基础设施的一部分，首推MLA（机器学习加速）核心框架FlashMLA。这一开源项目已在GitHub上发布，旨在为开发者提供高效、灵活的机器学习加速工具。FlashMLA通过优化计算资源分配和任务调...

近日，首个基于Muon优化器训练的大规模模型Moonlight 16B在GitHub上正式发布。该模型经过5.7万亿个token的训练，架构与DeepSeek v3高度相似。Muon优化器的引入为大规模模型的训练提供了新的可能性，显著提升了训练效...

Google Titans模型是Google最新推出的一种内存驱动AI架构，旨在通过高效的内存管理和数据处理能力，提升AI模型的性能和效率。该模型的核心在于其独特的内存驱动设计，能够显著减少数据访问延迟，从而加速模型训练和...

近日，技术社区对SWE-bench数据集的使用提出了严重关切。该数据集被广泛用于评估软件工程领域的模型性能，但近期发现其存在多个关键问题，可能影响研究结果的准确性和可靠性。首先，数据集中部分样本的标注存在偏差...

在LLM的预训练过程中，网络爬虫获取的数据往往因文本提取效率低下而被大量丢弃。然而，近期一项开源项目在GitHub上发布，显著提升了文档的保存率，并利用这些数据在少量爬取内容的基础上训练出更强大的模型。该项目...

近日，一项名为Model-Guidance（MG）的技术在扩散模型训练领域取得了突破性进展。该技术通过引入后验概率优化目标，显著提升了扩散模型的训练速度和推理效率。实验结果显示，采用MG技术的扩散模型在ImageNet 256基准...

近日，一项创新的研究展示了使用3D Gaussian Splats渲染的逼真环境来训练端到端驾驶强化学习（RL）模型的潜力。该研究通过构建高度真实的虚拟驾驶场景，显著提升了模型的训练效果。实验结果表明，与传统方法相比，采...