大语言模型（LLM）作为基于Transformer架构的神经网络，通过并行分析完整序列并计算词语间的全局关联性，实现了自然语言处理的突破性进展。在推理过程中，模型首先将输入文本转化为数字化的词元嵌入向量，随后通过Tr...

微软近日在GitHub开源社区正式发布《Edge AI for Beginners》系列课程，该项目专为人工智能初学者设计，系统性地介绍了边缘计算与AI结合的完整技术栈。课程内容涵盖边缘AI基础架构、主流轻量级模型（如MobileNet、Ti...

Weaviate团队最新提出的8位旋转量化技术（8-bit Rotational Quantization）突破了向量搜索领域的性能瓶颈。该技术通过创新性地采用随机旋转算法，将原始向量数据压缩至原大小的1/4，在显著减少存储空间和内存占用的...

近日，GitHub上开源项目oLLM引发开发者社区广泛关注。该项目是一个专为大上下文语言模型推理设计的轻量级Python库，其核心突破在于仅需8GB显存的消费级GPU即可运行Llama-3.1-8B-Instruct等模型处理长达10万token的上...

开发者Henry和Roman近日推出开源项目Cactus，这是一个专为智能手机设计的跨平台框架，支持本地部署大型语言模型（LLM）、视觉语言模型（VLM）和文本转语音（TTS）模型。与Ollama专注于笔记本和边缘服务器不同，Cactu...

PyTorch与vLLM近日宣布深化技术整合，新增支持量化、注意力机制定制及异构硬件加速等关键功能。这一合作标志着两大开源框架在优化大语言模型（LLM）推理性能方面取得重要突破：量化技术可降低模型计算资源消耗达4-8...

PyTorch官方博客最新发布的ParetoQ训练算法在低比特量化领域取得重大突破。该技术首次实现了二元（1-bit）、三元（1.58-bit）和2至4位量化的统一框架，并在所有量化级别上均达到当前最优性能。这一突破性进展尤其适...

近日，开发者dipampaul17在GitHub上发布了KVSplit项目，该项目通过差异化精度的KV缓存量化技术，在苹果芯片（M1/M2/M3/M4）上实现了更长上下文的LLM推理。研究发现，LLM推理中的KV缓存中，键（Keys）和值（Values）...