漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-12-24 talkingdev

AMD GPU优化助力大型语言模型推理性能

2023年,AMD针对其图形处理单元(GPU)进行了优化,以增强其在大型语言模型(LLM)推理任务中的竞争力。这项优化涉及到硬件和软件层面的协同工作,使得AMD的GPU在处理复杂的机器学习任务时能提供更好的性能和效率。...

Read More
2024-03-29 talkingdev

1比特语言模型:后训练量化技术助力在消费级GPU上运行700亿参数模型

1比特语言模型的研究为深度学习领域带来了新的突破。该技术通过在不损失性能的前提下,对语言模型中的线性层进行量化处理,实现了模型大小的大幅压缩。这一创新使得原本只能在高性能计算平台上运行的700亿参数模型,...

Read More