Hugging Face最新推出的FutureBench是一个专门用于测试AI代理在预测未来事件方面能力的基准测试平台。该平台覆盖科学、地缘政治和技术等多个领域，旨在评估AI系统在复杂多变的环境中预测未来趋势的准确性和可靠性。F...

最新研究发现，知名聊天机器人竞技平台Chatbot Arena的基准测试存在系统性偏差，主要源于未公开的私有测试和选择性数据访问机制。科技巨头如Google和OpenAI凭借数据特权形成垄断优势，其模型可获得充分调优，而开源...

LLaVA-MORE 是一项关于多模态大语言模型（Multimodal Large Language Models, MLLMs）的系统性研究，旨在评估不同语言模型和视觉骨干网络在 MLLMs 中的表现，并提供一个可复现的框架来比较这些架构。通过该研究，研...

在企业中，数据、评估和计算资源对于高性能的人工智能至关重要。评估（evals）可能是组织改进其AI产品的一个关键因素。通过构建针对商业问题的评估体系，企业能够更有效地衡量AI解决方案的性能，并据此进行优化。这...

HuggingFace发布了一个轻量级的评估库lighteval，用于基于HELM和Eluther AI评估工具的语言模型训练。该评估库专注于提供高效易用的评估方法和指标，帮助用户快速准确地评估模型性能。同时，lighteval还提供了丰富的...