阿里巴巴最新开源的Qwen3-235B思维模型在技术领域取得重大突破，该模型在AIME25数学竞赛中达到92.3%的准确率，与OpenAI的O4-mini性能相当，并在编码基准测试中以74.1%的LiveCodeBench得分实现超越。这一2350亿参数的...

Google最新发布的Gemma 3n和MatFormer模型采用了创新的嵌套Transformer架构，通过Mix-n-Match技术实现弹性推理功能。该技术允许模型在运行时动态调整计算资源分配，显著提升推理效率并降低计算成本。本实践教程详细...

PyTorch与vLLM近日宣布深化技术整合，新增支持量化、注意力机制定制及异构硬件加速等关键功能。这一合作标志着两大开源框架在优化大语言模型（LLM）推理性能方面取得重要突破：量化技术可降低模型计算资源消耗达4-8...

近期GitHub上开源的ConciseHint项目提出了一种创新的大语言模型推理优化技术。该技术通过在生成过程中注入学习或手工设计的简洁提示，能够在保持模型性能的前提下显著提升推理过程的简洁性。这一突破性方法解决了当...

近日，SGLang宣布成功集成Transformers后端技术，这一重大进展使开发者能够将Hugging Face的模型API与SGLang的高吞吐量、低延迟引擎相结合。该集成不仅显著提升了模型推理效率，还为自然语言处理（NLP）领域的实时应...

LLaVA-STF项目通过创新的相邻令牌合并技术和多区块令牌融合模块，成功将视觉令牌序列压缩75%，显著提升了多模态推理效率。该技术突破性地解决了视觉语言模型中长序列处理带来的计算资源消耗问题，通过动态合并语义相...

人工智能研究公司DeepSeek近日宣布对其R1推理模型进行重大升级，并将最新版本发布于Hugging Face平台。这一进展标志着自然语言处理领域的重要突破，R1模型以其卓越的推理能力和高效的参数利用在业界备受关注。此次更...

谷歌在2024年I/O开发者大会上悄然推出了Gemma系列的新成员Gemma 3n，这一采用自由权重（free weights）设计的轻量化模型引发了AI社区的广泛关注。作为Gemma家族的最新成员，3n版本在模型架构上进行了显著创新，其技...