Sentence Transformers最新升级引入对稀疏嵌入模型训练的支持，这一技术突破特别适用于混合搜索和重排序场景。该博客详细解析了模型的核心组件与训练步骤，并重点介绍了基于SPLADE架构的现成模型。稀疏编码技术通过...

PyTorch与vLLM近日宣布深化技术整合，新增支持量化、注意力机制定制及异构硬件加速等关键功能。这一合作标志着两大开源框架在优化大语言模型（LLM）推理性能方面取得重要突破：量化技术可降低模型计算资源消耗达4-8...

vLLM是一款开源的大语言模型推理引擎，近日其团队发布了全新的V1架构。本文深入剖析了vLLM V1架构如何通过OpenAI兼容API服务器和核心引擎高效处理推理请求，实现业界领先的文本生成性能。该架构优化了推理请求的处理...

ExtensityAI团队在GitHub开源了SymbolicAI项目，这是一个基于神经符号系统（Neuro-Symbolic）架构设计的组合式可微分编程库，旨在为大语言模型（LLMs）提供结构化推理能力。该项目通过将符号逻辑与神经网络梯度优化...

FLUX.1 Kontext [dev]作为一款拥有120亿参数的开源模型，突破性地在消费级硬件上实现了媲美商业闭源软件的图像编辑性能。该模型采用FLUX.1非商业许可协议开放权重，为学术研究和非商业应用提供免费访问权限。技术亮...

据最新报道，Meta已秘密招募OpenAI前强化学习专家Trapit Bansal加入其新成立的AI超级智能部门。这一动作虽未获官方确认，但业内人士分析指出，Bansal的加盟将显著提升Meta在前沿推理模型领域的研发能力。作为深度强...

近期GitHub上开源的ConciseHint项目提出了一种创新的大语言模型推理优化技术。该技术通过在生成过程中注入学习或手工设计的简洁提示，能够在保持模型性能的前提下显著提升推理过程的简洁性。这一突破性方法解决了当...

近日，SGLang宣布成功集成Transformers后端技术，这一重大进展使开发者能够将Hugging Face的模型API与SGLang的高吞吐量、低延迟引擎相结合。该集成不仅显著提升了模型推理效率，还为自然语言处理（NLP）领域的实时应...