近日，AI模型聚合平台OpenRouter发布了一份名为《State of AI》的深度实证研究报告。该研究基于对超过100万亿（100T）真实世界大语言模型交互令牌的分析，覆盖了不同任务类型、地理区域和时间跨度，为当前AI技术的实...

知名AI社区Hugging Face近日发布了一份名为《Smol训练手册》的深度技术指南，首次系统披露了从零开始训练大语言模型的全流程实战经验。该手册覆盖了模型训练生命周期的关键阶段：从小规模消融实验和基础设施调试，到...

这篇技术长文系统性地剖析了大语言模型（LLM）的后训练完整生命周期，涵盖了监督微调（SFT）、奖励建模（Reward Modeling）以及强化学习方法（如RLHF）三大核心阶段。作者不仅详细阐述了如何通过人类反馈的强化学习...

最新研究指出，实时编程面试（Live coding）作为一种常见的招聘方式，实际上可能对候选人造成不公。微软的一项研究表明，在被观察的情况下进行编程会显著降低候选人的表现，主要原因是压力导致的工作记忆（working m...

本文深入探讨了长上下文问答系统的评估方法，包括指标设计、数据集构建以及人工或大语言模型(LLM)评估技术。文章重点分析了该领域面临的四大核心挑战：信息过载问题、证据分散现象、多跳推理需求以及幻觉生成风险。...

近日，一项利用注意力图量化视觉模型内部偏差的新指标在GitHub上开源。该技术通过分析模型在识别过程中的注意力分布，能够有效识别出导致偏差的混淆特征，突破了传统基于群体准确率差异的评估局限。这项名为Attentio...

近期，随着人工智能技术的不断发展，特别是大型语言模型(Large Language Models, LLM)在特定任务中的应用变得越来越广泛。LLM以其强大的处理能力，能够针对不同的任务进行相应的学习和优化。然而，针对特定任务进行...

评估语言模型一直以来都是一个复杂的任务，尤其是在大多数评估细节都只存在于大型公司内部的情况下。这篇论文展示了一套可重复且强大的评估标准，为研究人员提供了一个实用的框架。论文中包括了对困惑度评估的详细讨...