BLoRA开源，同一GPU上批量处理LoRAs

talkingdev • 2023-09-06

1453830 views

LoRAs是一种小型的参数适配器，通过插入到某些层次来改变底层模型的行为。你可以为基础模型进行批量生成，以提高性能。此外，你还可以对LoRA修改后的模型进行批量处理，并向不同的用户提供具有不同性能的模型。这种技术的运用，将极大地提高GPU的使用效率，同时也为用户提供了更加个性化的服务。