Meta的研究团队近日推出了一款新型的优化器，并已在X平台上公开代码及其多种集成方式。这款优化器的独特之处在于它不依赖于学习率（LR）调度，训练过程中无需预先设定总步数。经过实证，该优化器在包括语言模型在内...

开源项目pg_hint_plan为开发者提供了一种新的方法，通过在SQL注释中使用提示来调整PostgreSQL的执行计划。在PostgreSQL中，规划器通过成本基优化器估算每个可能的执行计划的成本，并执行成本最低的计划。尽管Postgre...

Daft是一种专门为云端大数据处理而设计的分布式查询引擎。它具有熟悉的交互式API、强大的查询优化器、数据目录集成、丰富的多模式类型系统等特点。Daft的设计目的是能够处理任何数据，它专为大型机器集群上的交互式...

人工智能系统由架构、数据和训练方法三部分组成，优化器则是训练方法中的重要组成部分。目前，Adam优化器因其“即插即用”的特性而深受大众喜爱。然而，LION和Shampoo这两种优化器逐渐获得了人们的认可。来自Meta的Pyt...

这项研究介绍了LOw-Memory Optimization（LOMO），这是一种旨在显著减少大型语言模型（LLM）训练所需资源的优化器，目前这一过程需要大量的GPU资源。LOMO的创新方法使得只需使用一台具有8个RTX 3090 GPU（每个具有24...

近日，Sophia的官方实现已经上线，Sophia是一种可扩展的随机二阶优化器，用于语言模型预训练。以下是该实现的三个核心要点： - Sophia是一种适用于大规模语言模型预训练的随机二阶优化器； - Sophia的实现基于PyTor...