近日，首个基于Muon优化器训练的大规模模型Moonlight 16B在GitHub上正式发布。该模型经过5.7万亿个token的训练，架构与DeepSeek v3高度相似。Muon优化器的引入为大规模模型的训练提供了新的可能性，显著提升了训练效...

Google Titans模型是Google最新推出的一种内存驱动AI架构，旨在通过高效的内存管理和数据处理能力，提升AI模型的性能和效率。该模型的核心在于其独特的内存驱动设计，能够显著减少数据访问延迟，从而加速模型训练和...

近日，技术社区对SWE-bench数据集的使用提出了严重关切。该数据集被广泛用于评估软件工程领域的模型性能，但近期发现其存在多个关键问题，可能影响研究结果的准确性和可靠性。首先，数据集中部分样本的标注存在偏差...

在LLM的预训练过程中，网络爬虫获取的数据往往因文本提取效率低下而被大量丢弃。然而，近期一项开源项目在GitHub上发布，显著提升了文档的保存率，并利用这些数据在少量爬取内容的基础上训练出更强大的模型。该项目...

近日，一项名为Model-Guidance（MG）的技术在扩散模型训练领域取得了突破性进展。该技术通过引入后验概率优化目标，显著提升了扩散模型的训练速度和推理效率。实验结果显示，采用MG技术的扩散模型在ImageNet 256基准...

近日，一项创新的研究展示了使用3D Gaussian Splats渲染的逼真环境来训练端到端驾驶强化学习（RL）模型的潜力。该研究通过构建高度真实的虚拟驾驶场景，显著提升了模型的训练效果。实验结果表明，与传统方法相比，采...

近日，一项创新技术引起了开发者社区的广泛关注。该技术能够将整个代码库转换为单一的Markdown文档，从而方便地将其输入到AI模型中进行训练和分析。通过这种方式，开发者可以更高效地利用AI工具来理解和优化代码结构...

在技术发展的长河中，GPU（图形处理单元）一直被视为图形渲染的专用硬件。然而，随着人工智能和机器学习领域的迅猛发展，GPU的角色已经发生了根本性的转变。最初，GPU设计用于加速图形处理，但其并行处理能力使其成...