最近一份技术报告详细介绍了FLACUNA，这是一种可以提高问题解决能力的语言模型。FLACUNA是通过使用一个名为FLANMINI的自定义指令数据集对VICUNA进行微调而创建的，VICUNA是另一种大型语言模型。FLACUNA的出现，对于...

DeepMind的Gemini大型语言模型是使用AlphaGo的技术进行训练的，AlphaGo是第一个在围棋比赛中击败职业人类选手的AI系统。Gemini可以规划、解决问题和分析文本。它将AlphaGo类型系统的优势与大型语言模型的能力相结合...

embedchain是一个用于创建基于大型语言模型的聊天机器人的框架。它抽象了加载数据集、分块、创建嵌入和存储到向量数据库的整个过程。用户可以通过链接到媒体文件，如视频、PDF、博客文章或网站，创建聊天机器人。这...

这项研究揭示了大型语言模型（LLMs）在处理不同任务时可以胜任，但在概率推理方面存在困难，从而限制了它们的性能。作者提出了一种名为Tart的解决方案 - 一种在通用方式下训练的推理模块，当与任何现有模型结合时，...

该仓库介绍了Wanda，一种通过选择性地丢弃不太重要的网络权重来减少大型语言模型复杂性的独特方法。与其他方法不同，Wanda无需重新训练或大量计算，能够在保持性能的同时实现有效的模型剪枝。

Autolabel是一个Python库，可以使用你选择的任何大型语言模型（LLM）来标注、清理和丰富文本数据集。

这项研究介绍了LOw-Memory Optimization（LOMO），这是一种旨在显著减少大型语言模型（LLM）训练所需资源的优化器，目前这一过程需要大量的GPU资源。LOMO的创新方法使得只需使用一台具有8个RTX 3090 GPU（每个具有24...

本文讨论了几种加速大型语言模型（LLM）训练和推理的技术，以使用高达100K个输入令牌的大上下文窗口。这些技术包括：ALiBi位置嵌入，稀疏注意力，闪电注意力，多查询注意力，条件计算以及使用80GB的A100 GPU。