Weaviate团队最新提出的8位旋转量化技术（8-bit Rotational Quantization）突破了向量搜索领域的性能瓶颈。该技术通过创新性地采用随机旋转算法，将原始向量数据压缩至原大小的1/4，在显著减少存储空间和内存占用的...

近日，GitHub上开源项目oLLM引发开发者社区广泛关注。该项目是一个专为大上下文语言模型推理设计的轻量级Python库，其核心突破在于仅需8GB显存的消费级GPU即可运行Llama-3.1-8B-Instruct等模型处理长达10万token的上...

开发者Henry和Roman近日推出开源项目Cactus，这是一个专为智能手机设计的跨平台框架，支持本地部署大型语言模型（LLM）、视觉语言模型（VLM）和文本转语音（TTS）模型。与Ollama专注于笔记本和边缘服务器不同，Cactu...

PyTorch与vLLM近日宣布深化技术整合，新增支持量化、注意力机制定制及异构硬件加速等关键功能。这一合作标志着两大开源框架在优化大语言模型（LLM）推理性能方面取得重要突破：量化技术可降低模型计算资源消耗达4-8...

PyTorch官方博客最新发布的ParetoQ训练算法在低比特量化领域取得重大突破。该技术首次实现了二元（1-bit）、三元（1.58-bit）和2至4位量化的统一框架，并在所有量化级别上均达到当前最优性能。这一突破性进展尤其适...

近日，开发者dipampaul17在GitHub上发布了KVSplit项目，该项目通过差异化精度的KV缓存量化技术，在苹果芯片（M1/M2/M3/M4）上实现了更长上下文的LLM推理。研究发现，LLM推理中的KV缓存中，键（Keys）和值（Values）...

近期，Hugging Face发布了一项名为AutoRound的后训练量化技术，该技术能够在保持模型性能和效率的同时，显著提升低比特量化模型的精度。这一突破性进展为边缘计算和移动端设备部署轻量级AI模型提供了新的可能性，解...

NVIDIA在GitHub开源项目TensorRT-LLM中发布了名为Auto Deploy的创新工具，该技术实现了将PyTorch和Hugging Face模型转化为高效可部署格式的重大突破。通过TensorRT-LLM的优化编译器，模型推理速度可提升数倍，特别适...