LongQLoRA：提升LLMs上下文理解能力
talkingdev • 2023-11-13
1257750 views
GitHub上有一个新的工具——LongQLoRA，它可以让LLMs（语言模型）理解更长的序列。LLMs已经在自然语言处理方面取得了很大的成功，但它们的上下文理解能力有限。长序列的理解也是LLMs的一个挑战。LongQLoRA通过对序列切片并对每个切片进行独立的处理，来扩展LLMs的上下文理解能力。这个工具在多项基准测试中表现优异，并且已经在GitHub上开源。