Axolotl开源,本地GPU上训练大模型取得突破 talkingdev • 2024-03-11 914720 views 上周,在小型GPU上训练大型模型取得了突破。这个配置展示了如何使用这些技术在消费级硬件上训练Mixtral。 核心要点 Axolotl项目发布了qlora和fsdp技术。 这些技术使得在小型GPU上训练大型模型成为可能。 Mixtral可以通过这些技术在消费级硬件上训练。 Read more > 查看原文