漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-06-07 talkingdev

SpaceX星舰首次太空返回成功,尽管遭受损伤

SpaceX的星舰飞船在周四成功发射并首次实现了控制下的水上着陆。这次测试虽然没有达到完美的标准,但仍然被视为巨大的成功。尽管超级重型助推器上的33个猛禽引擎中有2个失效,飞船的热保护瓦片和其中一个控制翼片也...

Read More
2024-05-27 talkingdev

LoRA-Ensemble:提升自注意力网络的预测精度

LoRA-Ensemble是一种面向自注意力网络的参数高效深度集成方法。该技术扩展了低秩适配(LoRA)的应用,通过隐式集成实现了在不增加传统集成方法高计算成本的情况下,仍能做出准确且校准良好的预测。这种方法不仅在精...

Read More
2024-05-20 talkingdev

LoRA学习更少遗忘更少,优化模型微调调优的新方法

LoRA(Learning of Rate Adjustor)是一种被广泛应用于模型微调的方法,用于注入风格或知识。近期的一篇研究论文深入探讨了在使用LoRA时,学习能力和遗忘之间的权衡关系。研究发现,LoRA相比于全面微调,虽然学习的...

Read More
2024-05-14 talkingdev

Text-Image组合与理解:InternLM-XComposer2视觉语言模型的突破

InternLM-XComposer2是一种在创建和理解复杂的文本-图像内容方面表现优异的视觉语言模型。该模型引入了一种名为Partial LoRA的新型方法,用以平衡视觉和文本的理解,其性能超越了现有的多模态内容创建和理解模型。通...

Read More
2024-03-11 talkingdev

Axolotl开源,本地GPU上训练大模型取得突破

上周,在小型GPU上训练大型模型取得了突破。这个配置展示了如何使用这些技术在消费级硬件上训练Mixtral。

Read More
2024-03-08 talkingdev

AnswerAI开源新微调工具,可在消费级GPU上训练70B参数模型

Answer AI发布了一款新的FSDP/QLoRA训练工具,可在消费级GPU上训练70B参数模型。该公司开源了代码,并使其易于本地运行或在runpod上运行。

Read More
2024-02-29 talkingdev

论文:量化语言模型提高生成效率

IR-QLoRA是一种新方法,它可以提高量化大型语言模型的准确性,使它们更适合在资源有限的设备上使用。量化是一种通过降低浮点精度来减少计算资源需求的技术。虽然这种方法可以大大减少模型的计算量和存储空间,但它也...

Read More
2024-02-23 talkingdev

Lorax-多LoRA模型推理服务器开源

Lorax是一款支持将多个LoRA模型热插拔到单个基础模型上的推理服务器。这意味着在支持广泛的模型调整范围的同时,RAM内存占用会大幅减少。

Read More
  1. Prev Page
  2. 16
  3. 17
  4. 18
  5. Next Page