Maelstrom是一个用于在本地或分布式大型集群中运行测试的工具套件，支持在隔离的微容器中进行测试。目前，它已经提供了针对Rust和Python的测试运行器，并计划陆续增加对更多编程语言的支持。Maelstrom以其高可靠性、...

近日，一款名为Mutahunter的开源LLM基础突变测试工具在GitHub上公开。这款工具是语言无关的，可以广泛应用于自动化软件测试。Mutahunter的核心功能是通过LLM基础的突变测试，帮助开发者在自动化软件测试过程中，找到...

MatText是一套专为评估材料科学中语言模型性能的基准测试工具和数据集。这套工具和数据集的设计目标，是使研究者能够更有效地理解和评估语言模型在材料科学应用中的表现。语言模型在材料科学中的应用，可以帮助科学...

在自动化技术领域，团队成功的关键在于定制化工具的开发。本文介绍了开发者们创建或见证的一系列内部工具，这些工具在自动化进程中起到了显著的推动作用。其中包括一个能在短短3小时内执行230项测试的测试执行工具，...

近日，GitHub上发布了一项新的基准测试工具——化学工作台（Chemistry Bench），旨在评估大型语言模型在处理化学问题方面的能力。该工具与Big-Bench兼容，能够对语言模型的科学素养进行有效衡量。化学工作台通过一系列...

研究人员近日推出了ReaLMistake基准测试工具，该工具专注于系统性地检测大型语言模型（LLM）响应中的错误。随着人工智能技术的发展，大型预训练语言模型在多种应用场景中展现出了卓越的性能。然而，这些模型在生成文...

EvoEval是一套全新的基准测试工具，专为评估大型语言模型（LLMs）的编码能力而设计。该测试套件采用了比以往更加严格的测试标准，以确保对LLMs编程能力的全面检测。EvoEval的发布意味着开发者和研究人员现在可以更准...

像Claude这样的大型语言模型(LLMs)能够为解析代码生成有效的模糊测试工具，这一过程传统上需要大量的人力投入。尽管LLMs通常在精确度上不足以进行静态分析，但它们似乎非常适合创建模糊测试工具，因为模糊测试的随机...