据Elon Musk在X上透露，xAI的语言模型Grok将在未来几天内开源。 Grok是xAI的一项重要技术，它基于深度学习技术，能够快速地处理自然语言，并在文本中找到有意义的信息。Grok已经在xAI内部使用了很长时间，现在将会对...

上周，在小型GPU上训练大型模型取得了突破。这个配置展示了如何使用这些技术在消费级硬件上训练Mixtral。

Hatchet是GitHub开源的代码库，可以帮助开发者更好的设计耐用的工作负载，解决传统队列和发布/订阅系统所带来的一系列问题，如并发性、公平性和速率限制等。Hatchet通过对任务进行分组，并使用定时器和状态机等技术...

近代LML中常用的多头注意力模块的不同实现之间的速度存在近10倍的差异。本笔记本展示了其中几个实现，并对其性能进行了基准测试。

近期，开源社区发布了一个名为Fructose的Python包，其主要用途是为LLM调用创建可靠强类型接口。 Fructose是一个轻量级Python包，它可以帮助开发人员避免与LLM交互时的一些常见错误，例如类型不匹配或缺失参数。通过...

这是一篇关于大规模模型训练的并行化技术的教程。文章详细介绍了不同类型的并行化技术，以及如何在训练大模型时实现高效的并行化。本文介绍了数据并行、模型并行和混合并行等不同的技术，并详细讨论了它们的优缺点。...

Answer AI发布了一款新的FSDP/QLoRA训练工具，可在消费级GPU上训练70B参数模型。该公司开源了代码，并使其易于本地运行或在runpod上运行。

近日，一项名为“双域条纹注意机制”的新技术在Github上发布，该技术极大地改善了图像恢复任务。传统的图像恢复方法对于纹理丰富的图像效果不佳，而这项新技术可以更好地保留图像细节和纹理信息。它通过使用双域条纹注...

最近，知名机器学习专家Andrej Karpathy提出了一个具有挑战性的任务：从他最近的一段视频中提取摘要并发布博客文章。经过一些数据预处理，Claude 3成功地完成了这项任务，并发布了一篇高质量有趣的博客文章。Claude...

近日，开源Sora计划在GitHub上成立，旨在打造类似OpenAI的文本到视频模型。该计划目前正在构建基础组件，并寻求有兴趣的开源贡献者的帮助。据悉，Sora模型通过将自然语言转化为场景描述，再将其转化为视频，实现了文...