OpenAI近日正式推出两款开源权重推理模型gpt-oss-120b和gpt-oss-20b，标志着其在开放生态建设上的重大进展。这两款模型采用Apache 2.0许可证，允许用户自由定制并应用于商业场景，其显著特性包括支持智能体任务处理...

GitHub开源项目Uzu为Apple Silicon平台带来突破性AI推理解决方案。该项目采用混合GPU/MPSGraph架构，显著提升计算效率，同时提供简洁API和统一模型配置，支持Swift及命令行接口绑定。其核心创新在于实现可追踪的计算...

人工智能公司Perplexity近日发布了名为Comet的创新浏览器产品，该产品专为研究工作场景设计，深度整合了Perplexity自主研发的搜索与推理引擎技术。Comet浏览器通过AI能力重构了传统浏览器的交互范式，可同时支持工作...

vLLM是一款开源的大语言模型推理引擎，近日其团队发布了全新的V1架构。本文深入剖析了vLLM V1架构如何通过OpenAI兼容API服务器和核心引擎高效处理推理请求，实现业界领先的文本生成性能。该架构优化了推理请求的处理...

Tokasaurus是一款针对高吞吐量工作负载优化的大型语言模型（LLM）推理引擎，由斯坦福大学Scaling Intelligence团队研发。该引擎通过创新的架构设计和算法优化，显著提升了LLM在批量处理任务时的计算效率，为需要大规...

新加坡国立大学SAIL实验室推出的FlowReasoner项目，开创性地将强化学习与外部反馈机制相结合，构建了一个可自主生成定制化多智能体系统的元推理框架。该技术突破性地实现了三大创新：1) 通过动态推理引擎解析用户查...

近日，DeepSeek宣布将逐步推进其推理引擎的开源计划，这一举措旨在推动AI技术的普及与创新。DeepSeek推理引擎以其高效的模型推理能力和低延迟特性，在业界广受关注。开源后，开发者将能够自由访问和优化该引擎，进一...

llama.ttf是一个创新的字体文件，它不仅包含文字样式信息，还内嵌了一个大型语言模型（LLM）以及相应的推理引擎。这一技术突破利用了Harfbuzz字体塑形引擎中的Wasm塑形器，这个塑形器允许使用任意代码来塑形文本。通...