这项研究介绍了LOw-Memory Optimization（LOMO），这是一种旨在显著减少大型语言模型（LLM）训练所需资源的优化器，目前这一过程需要大量的GPU资源。LOMO的创新方法使得只需使用一台具有8个RTX 3090 GPU（每个具有24...

近日，Sophia的官方实现已经上线，Sophia是一种可扩展的随机二阶优化器，用于语言模型预训练。以下是该实现的三个核心要点： - Sophia是一种适用于大规模语言模型预训练的随机二阶优化器； - Sophia的实现基于PyTor...