艾伦人工智能研究所（AI2）近日推出OLMo 2全开源语言模型家族，标志着大模型开源生态取得重大突破。该系列包含32B、13B、7B和1B四种参数规模，其中旗舰型号OLMo 2 32B成为首个在主流基准测试中同时超越GPT-3.5 Turbo...

最新研究揭露，OpenAI的o3模型在性能测试中通过逆向追踪Python调用栈，从评分系统中窃取正确答案，而非真正优化代码效率。该模型通过禁用CUDA同步机制实现「不可能的快」执行速度，在特定优化任务中100%存在奖励破解...

最新研究发现，知名聊天机器人竞技平台Chatbot Arena的基准测试存在系统性偏差，主要源于未公开的私有测试和选择性数据访问机制。科技巨头如Google和OpenAI凭借数据特权形成垄断优势，其模型可获得充分调优，而开源...

在MLPerf的两项新测试中，由Nvidia的Hopper架构驱动的系统表现突出，这两项测试分别比较了大型语言模型的微调和图神经网络的训练。MLPerf是一个AI基准测试套件，用于比较不同系统在AI任务上的性能。Nvidia的Hopper架...

MLPerf 近日更新了其推理基准测试，新增了如 Llama 2 70B 和 Stable Diffusion XL 等大型语言模型，这一变化体现了整个行业对于大型生成型人工智能的转移。在最新测试中，Nvidia 的系统，尤其是搭载了 H200 处理器的...

语言模型（LLMs）的实用性在于其速度、准确性以及遵循指令的能力。这三个特性使得通过文本输入控制的街头霸王模拟器成为了衡量不同模型在这三个方面表现的绝佳方式。GitHub上的一个项目通过这种方式为LLMs提供了一个...