Co-LLM推出了一种新方法,可以让大型语言模型协作,逐标记生成文本。这种策略允许模型利用其独特的优势和专业知识来完成各种任务,从而在遵循指令、特定领域问题和推理挑战等方面提高性能。
Read MoreDP3推出了一种先进的模仿学习方法,结合3D视觉数据和扩散策略,以高效的方式为机器人教授复杂技能。该方法通过将多个示教者的动作数据进行聚合,形成一个复杂的运动模型,并通过扩散过程来优化该模型。该模型可以有...
Read More这是一篇关于大规模模型训练的并行化技术的教程。文章详细介绍了不同类型的并行化技术,以及如何在训练大模型时实现高效的并行化。本文介绍了数据并行、模型并行和混合并行等不同的技术,并详细讨论了它们的优缺点。...
Read More评估语言模型通常采用手动策划的基准测试。其中一些基准测试非常大,有些超过14k个示例,这导致评估成本和噪声很高。这项工作表明,您可以可靠地评估流行基准测试中的语言模型性能,只需使用100个示例即可。
Read MoreAnswer AI发布了一款新的FSDP/QLoRA训练工具,可在消费级GPU上训练70B参数模型。该公司开源了代码,并使其易于本地运行或在runpod上运行。
Read MoreInflection近日推出了一款新模型,为其个人助手Pi提供支持。该模型表现与GPT-4相当,在基准测试中具备出色的推理能力,达到了94%的成绩。Inflection声称,相对于GPT-4,该模型训练所需的计算资源仅占40%。有意思的是...
Read More微软将在3月21日的发布会上公布有关Copilot AI,Windows和Surface硬件的消息。虽然微软没有透露任何细节,但外界普遍认为该公司将推出新的Surface设备,并有望展示Copilot AI的最新进展。
Read MoreGrats是一个工具,可以将构建GraphQL服务器变得像编写函数一样简单。它利用现有的类型注释自动从通用的TypeScript解析器代码中提取可执行的GraphQL模式。Grats将TypeScript实现成为真相的来源,因此开发人员无需担心...
Read More