在自动化技术领域，团队成功的关键在于定制化工具的开发。本文介绍了开发者们创建或见证的一系列内部工具，这些工具在自动化进程中起到了显著的推动作用。其中包括一个能在短短3小时内执行230项测试的测试执行工具，...

近日，GitHub上发布了一项新的基准测试工具——化学工作台（Chemistry Bench），旨在评估大型语言模型在处理化学问题方面的能力。该工具与Big-Bench兼容，能够对语言模型的科学素养进行有效衡量。化学工作台通过一系列...

研究人员近日推出了ReaLMistake基准测试工具，该工具专注于系统性地检测大型语言模型（LLM）响应中的错误。随着人工智能技术的发展，大型预训练语言模型在多种应用场景中展现出了卓越的性能。然而，这些模型在生成文...

EvoEval是一套全新的基准测试工具，专为评估大型语言模型（LLMs）的编码能力而设计。该测试套件采用了比以往更加严格的测试标准，以确保对LLMs编程能力的全面检测。EvoEval的发布意味着开发者和研究人员现在可以更准...

像Claude这样的大型语言模型(LLMs)能够为解析代码生成有效的模糊测试工具，这一过程传统上需要大量的人力投入。尽管LLMs通常在精确度上不足以进行静态分析，但它们似乎非常适合创建模糊测试工具，因为模糊测试的随机...

近日，研发团队宣布推出了AgentBoard，一款专为多轮LLM代理设计的基准测试工具。AgentBoard不仅可以评估LLM代理的最终成功率，还提供了分析评估板以进行更详细的模型评估。这款工具可以更全面地评估LLM代理，为LLM代...

科研人员已经开发出一种名为CALM的新测试，用来检查AI语言工具是否存在偏见。他们从不同的来源收集了大量的数据，并测试了各种AI模型，结果发现一些大型AI模型的偏见可能比较小的模型更严重。这一发现对于AI领域的研...

自动视频生成作为一个新兴的研究领域，已经引起了广泛的关注。其中，故事延续、故事混搭等任务的衡量标准十分复杂。谷歌最新推出的视频生成基准测试工具，希望能帮助这一领域取得进一步的进展。通过这个基准测试，研...