Orca模型是微软的一组小型模型，擅长推理任务。由于许多信息被保密，因此存在关于其有效性的担忧。现在发布了Orca 2，该模型可在HuggingFace上获得。它展现了良好的性能，超过了几个较大模型的推理基准。

跨视角训练（SCT）可以提高小型语言模型的性能，使其能够生成先前仅可由较大模型实现的句子嵌入，从而优化性能和计算效率。

这项研究探讨了如何使'学生'网络（较小的模型）在从未遇到过的情况下，更好地从'教师'网络（较大的模型）中学习。研究介绍了一种名为权重平均知识蒸馏（WAKD）的新方法，该方法的效果与现有技术一样好，但使用更为简...

科研人员已经开发出一种名为CALM的新测试，用来检查AI语言工具是否存在偏见。他们从不同的来源收集了大量的数据，并测试了各种AI模型，结果发现一些大型AI模型的偏见可能比较小的模型更严重。这一发现对于AI领域的研...

最近，一篇论文的作者们开发出了一种名为“共思”的方法，该方法利用大型语言模型来提高较小的“婴儿级”模型的训练效果。他们通过重新处理GPT-3.5-turbo的数据集，并以RoBERTa的方式训练较小的模型，使得该模型在语言测...

## 新闻内容: 最近的一项研究发现，小模型在算术方面甚至可以击败GPT4，这一发现令人惊喜。具体来说，已经有许多强大的基础模型被用于算术任务的微调，但是llama tokenizer（将数字分割成单个数字）在算术方面的优...

研究人员设计了一种新方法，使用虚拟模拟器为语言模型提供“具身体验”，以培养其对真实世界的理解和规划能力。这种新方法显著提高了模型的能力，使得小型模型的表现与 ChatGPT 等大型模型相当甚至更好。 ## 三个核心...

在自然语言处理中，大型语言模型的推理能力往往比小型模型更强。这种推理能力有助于解决困难的任务，并可能使语言模型成为下一代计算平台/操作系统的基础。通过代码训练、思维链提示和强化学习等技术，可以提高模型...