本文讨论依赖于真实标注数据的评估指标。它探讨了通用和RAG特定的评估指标。所有指标都带有Python实现或指向一个Hugging Face模型卡的链接。

去年，Mozilla担任了效率挑战的可扩展评估者。它确保参赛者遵守比赛规则并评估模型性能。这篇文章是语言模型评估和竞争性训练方案的良好介绍。本次比赛对推动自然语言处理技术的发展具有重要意义。

最近在《自然》杂志上介绍了一种名为FunSearch的方法，它使用大型语言模型在数学和计算机科学中进行新的发现。该方法将创造性的LLM与评估器配对，以产生可验证的解决方案，并在难以解决的cap set 和bin-packing问题...

MMedLM 2是一种开创性的多语言语言模型，专为医学领域量身定制。它是在覆盖六种语言的新的255亿令牌语料库上训练的。在医学问答任务中，MMedLM 2的表现优于其他模型，包括GPT-4。

谷歌工程师和科学家开发了一个新的代码库，名为CPP Gemma推理引擎。与llama.cpp类似，该代码库允许在SIMD CPU架构上进行推理。该工具的目的是鼓励实验和使用昨天发布的Gemma模型。

Phind的70B代码模型在人类评估中获得83%的高分，与GPT-4表现相当。关键是它拥有显著较少的慵懒回应和拒绝。34B模型即将发布，更大的70B模型也将在未来发布。

GradSafe是一种新的方法，用于检测大型语言模型中的不安全提示，无需进行大量的训练。它通过分析特定参数的梯度，比当前方法更有效地识别不安全的提示。

Stability AI宣布推出Stable Diffusion 3，这是一款类似于OpenAI的Sora的Diffusion Transformer。公司训练了一套模型，参数范围从8亿到80亿，这是从以前的图像生成模型中跨越式的飞跃。这些模型将在经过一段时间的研...