DeepSpeed是微软推出的一个库，可以用来扩大语言模型的预训练。虽然使用起来有些复杂，但它提供了强大的抽象功能。微软最近添加了序列并行性，可以训练具有更长上下文长度的模型。这并不是一个新的突破，而是对开源...

GitHub近期发布了一款名为txtai的全新工具，这是一款集成语义搜索、LLM编排和语言模型工作流的全能型嵌入式数据库。这款工具能够将多种功能与应用集成在一起，为开发者提供了一个全新的、一体化的解决方案。通过txta...

本文将深入探讨热门的《transformer数学101》文章，以及基于transformer架构的高性能分布式训练。变形金刚模型已经在深度学习领域广泛应用，其强大的处理能力和优异的性能表现赢得了业界的一致好评。然而，对于这种...

本文探讨了一个微型模型的训练动态，并反向工程了它找到的解决方案。这为我们揭示了一个令人兴奋的新兴领域——机械可解释性。机器学习模型在工作时，是通过记忆数据还是通过泛化理解进行推理？这是一个长期存在且至关...

近日，多家媒体组织联名发布公开信，呼吁全球立法者考虑制定保护版权的规定，针对用于训练生成性AI模型的数据。他们要求在使用数据进行训练之前，必须对训练数据集进行透明化，并获取权利所有者的同意。公开信还要求...

近日，知名开源人工智能库HuggingFace宣布与AWS和Nvidia展开合作，为平台带来一键式训练功能。用户只需上传数据，即可直接在hub上对先进的模型进行微调。这一创新举措无疑将为AI研究者和开发者提供极大的便利，不再...

人工智能产业的发展正受到GPU供应不足的制约。这种短缺导致产品推出和模型训练等方面受到各种限制。一旦供需平衡，事情就会加速发展。本文将探讨导致供需矛盾的原因，持续时间以及解决方法。

Andrej Karpathy 编写了一个受到llama.cpp极大启发的酷炫库，可以用于纯C语言训练和推理新的Llama 2模型。这个库对于那些对底层编程感兴趣的人来说是一个很好的资源（就像他的所有代码一样）。GPT4在编写过程中给予...