近日，由D2I-ai团队在GitHub上开源的DASD（序列蒸馏）项目，提出了一种创新的模型蒸馏流程，旨在训练出更紧凑、高效的模型以应对复杂的推理任务。该流程整合了温度调度学习与发散感知采样等前沿技术，通过精细化的知...

人工智能领域知名专家安德烈·卡帕西（Andrej Karpathy）近期发布了其对2025年大语言模型（LLM）发展的年度回顾，系统性地梳理了行业在过去一年中经历的深刻范式转变。报告指出，技术演进的核心驱动力已从单纯追求模...

开发者Sean Goedecke在最新实验中证实，OpenAI的GPT-5-Codex在人工智能研究领域展现出超越人类研究员的潜力。通过构建自动化研究流程，Codex能够自主设计实验方案并根据结果持续优化策略，特别是在文本生成领域取得...

随着人工智能技术的快速发展，行业领先的AI公司正将自主训练模型视为战略要务。技术门槛的急剧降低成为关键推动力——模型蒸馏、精细调优和后训练优化等技术手段正以月为单位加速成熟，使得企业自建模型从高成本投入转...

一项突破性研究展示了小模型通过创新训练方法战胜巨型模型的可能。日本Sakana.AI团队开发的"教师模型"采用全新范式——这些模型不需要自行解决问题，而是被直接提供问题和正确答案，专注于生成清晰易懂的解决方案解释...

惠普AI Studio推出创新技术方案，通过模型蒸馏技术将前沿大语言模型DeepSeek-R1的推理能力压缩至可在本地设备运行的轻量级版本。该技术突破实现了大模型从云端到本地的迁移，用户可通过Ollama框架进行本地推理部署，...

近日，自然语言处理领域迎来一项重要技术突破——MiniPLM框架正式发布。该框架创新性地提出了一种高效的小型语言模型（SLM）预训练方法，通过从大型语言模型（LLM）中提取知识进行蒸馏训练，显著提升了小模型的性能表...

近日，GitHub上发布了一个专注于评估蒸馏LLM（Large Language Models）性能的开源项目。该项目提供了两种互补的量化指标，旨在帮助研究人员和开发者更精确地衡量LLM蒸馏的效果。蒸馏技术是一种通过将大型模型的知识...