Dual Chunk Attention（DCA）扩展了大型语言模型（如Llama2 70B）的能力，使它们能够处理超过100k个令牌而无需额外的训练。它将注意力计算分解成块，增强了模型对短期和长期上下文的理解。

FuseChat推出了一种创新的方式，将多个大型语言模型的优势融合成一个更强大的模型，而不需要进行高成本的从头训练。

HuggingFace Hub 近期合并发布了 AlphaMonarch 7B 模型，这个经过调优的模型在 elo 和 static benchmarks 中表现优异。它专门为多轮对话和指令跟踪等任务而设计，将会成为自然语言处理领域的一大利器。

这是一份关于使用LLMs进行注释的精选论文列表，LLMs是一种基于机器学习的语言模型，能够自动预测文本中的下一个单词或字符。使用LLMs进行注释可以提高注释的准确性和效率，目前在自然语言处理和计算机视觉领域被广泛...

Mindy是一款基于电子邮件的首席助手，由人工智能驱动。这个应用程序旨在帮助用户使用电子邮件系统来管理他们的时间和任务。Mindy使用自然语言处理和机器学习来识别电子邮件中的任务和约会，并将它们自动添加到用户的...

去年，Mozilla担任了效率挑战的可扩展评估者。它确保参赛者遵守比赛规则并评估模型性能。这篇文章是语言模型评估和竞争性训练方案的良好介绍。本次比赛对推动自然语言处理技术的发展具有重要意义。

苹果正在开发一个更新版本的Xcode，包括一个AI工具来生成代码。该工具将使用机器学习和自然语言处理算法来识别软件开发中的常见模式和问题，并提供自动生成代码的功能。这将帮助开发人员更快地创建应用程序，提高效...

近日，一项新的研究挑战了结合监督微调和强化学习的训练方法的有效性。研究表明，在初始训练中使用更先进的模型（如GPT-4）可以优于更复杂的两步方法。这一研究的开源代码已经发布到GitHub上，供科研人员使用和参考...

Reddit已经与一家未透露姓名的大型AI公司签订了一份价值约6000万美元的许可协议，授权该公司可以访问Reddit大量的用户生成内容。Reddit表示，这项协议将帮助AI公司培训其算法，从而提高其在自然语言处理和语音识别等...

斯坦福大学语言建模团队发布了一项广泛使用的基准测试，名为Holistic Evaluation of Language Models (HELM)。他们还发布了一份面向指令跟随的版本，名为HELM-Instruct。该测试是多维的、开放式的和绝对的。