本研究介绍了ChatLaw，这是一个专门为中国法律语言设计的开源语言模型，旨在助力该领域的数字化转型。ChatLaw基于深度学习技术，经过大量的法律文本训练，能够理解和生成法律相关的语言。它可以帮助律师、法官和学者...

Salesforce发布了一组新的语言模型，该模型在GitHub上公开发布。这些模型使用4K和8K序列长度进行了15亿个令牌的训练，参数量为70亿。与目前许多开源模型如MPT或Falcon相比，这些模型具有更好或相当的性能。此外，它...

语言模型的性能通常是在一个非常小的筛选数据集上进行评估的。这些数据的分布往往从生产环境中大大简化。使用自我监督评估，您可以使用自己的数据集来评估这些模型。您甚至可以使用从生产环境中流入的数据。

DeepMind的Gemini大型语言模型是使用AlphaGo的技术进行训练的，AlphaGo是第一个在围棋比赛中击败职业人类选手的AI系统。Gemini可以规划、解决问题和分析文本。它将AlphaGo类型系统的优势与大型语言模型的能力相结合...

最近有关GPT-4的消息称，GPT-4并不是一个大型模型，而是由多个小模型组成的混合体。这一消息尚未得到官方确认，但已经引起了广泛关注。GPT-4是由OpenAI开发的一种语言模型，能够生成高质量的自然语言文本。目前，GPT...

embedchain是一个用于创建基于大型语言模型的聊天机器人的框架。它抽象了加载数据集、分块、创建嵌入和存储到向量数据库的整个过程。用户可以通过链接到媒体文件，如视频、PDF、博客文章或网站，创建聊天机器人。这...

MPT是MosaicML推出的一系列语言模型。仅在推出几周内，其7B模型已经被下载了数百万次。这款全新的30B模型是在H100s上进行训练的，具备8000个上下文长度。它经过商业授权，甚至可以进行编码！该模型可以在单个A100上...

这项研究揭示了大型语言模型（LLMs）在处理不同任务时可以胜任，但在概率推理方面存在困难，从而限制了它们的性能。作者提出了一种名为Tart的解决方案 - 一种在通用方式下训练的推理模块，当与任何现有模型结合时，...