使用较低精度的模型训练速度更快、更便宜，但不稳定。最近有很多关于量化训练的研究。这个代码库建立在这些基础上，提供易于阅读和可修改的代码，实现浮点8训练。

苹果公司在人工智能系统中应用“Up captioning”技术来提高训练时的标签质量。该公司将此技术应用于预训练中，通过将C4重述为问题/答案对、指令等，加快了模型的收敛速度10倍，使模型的样本效率显著提高。但这也会增加...

React Email 2.0发布，该版本重构了预览体验，性能大幅提升，新增组件，支持Vercel部署，同时对monorepos提供更好的支持。React Email 2.0是一款专门用于构建电子邮件的React组件库，该组件库可帮助开发者更快速、更...

Proton是一个由ClickHouse驱动的流式SQL引擎，可帮助开发人员解决流式数据处理、路由和分析挑战，并将聚合数据发送到下游系统。Proton快速轻量，是Kafka或Redpanda的最佳流式SQL引擎。该项目提供了演示视频。

受 Llama 模型的努力启发，这个项目使用纯 Rust 在 CPU 上运行 Mamba 推理。

HuggingFace最近发布了一种名为WebDataset的数据格式，它可以将多个记录组合在一起。任何具有相同前缀的内容都会被视为同一条记录。这种格式非常适合于流式传输和快速数据加载。WebDataset还可以支持使用并行处理来...

本文介绍了Simon Willison的访谈，他是Django框架的联合创始人之一，讨论了人工智能、软件开发、知识产权等相关问题。在知识产权的讨论中，Willison承认了一些活动可以合法，但仍然可能在道德上是错误的，例如可以对...

研究人员探索了一种名为异步Local-SGD的新的语言模型训练方法。这种方法是联邦平均的一种变体。