近日，研究人员提出了一种名为Sparse-Quantized Representation（SpQR）的新技术，可以实现对大型语言模型（LLMs）的几乎无损压缩，克服了量化带来的精度损失。这项技术使得强大的LLMs可以在像笔记本电脑和手机这样...

## 概述 本文讨论GPT分词器，这是大型语言模型用于将文本转换为预测所需的标记。我们介绍了一个Observable笔记本工具，它允许用户将文本转换为标记，反之亦然，并在完整的标记表中运行搜索。 ## 核心要点 - GPT分词...

内容概要： - 多家公司正在使用人工智能进行软件开发，大型语言模型可以通过自我反思提高其输出。 - 越来越多的研究表明，使用更有指导性的自回归方法来使用LLM可以带来更好的结果。 - LLM的快速生成大量代码的能力...

GGML以纯C语言编写的框架，让用户可以在MacBook电脑上轻松运行大型语言模型，这种模型通常在本地运行成本较高。目前，这一框架主要被业余爱好者使用，但在企业模型部署方面也有广泛的应用前景。 核心要点： - GGML...

研究团队提出了InstructZero，一种新的方法，可以使大型语言模型（LLMs）更好地遵循指令，即使您无法直接调整它们（即“黑盒”模型）。该方法使用“软提示”进行优化，以创建更好的指令。我们的测试表明，在不同任务和各...

近日，一款名为 Aviary 的应用在开源代码托管平台 GitHub 上正式发布。这款应用能够让用户在一个平台上与各种大型语言模型互动，具有以下特点： - 在一个平台上与多个语言模型互动，无需频繁切换； - 直接比较不...

最近，一篇名为“Activation-aware Weight Quantization (AWQ)”的论文在GitHub上开源。这篇论文提出了一种新的方法，可以更高效地压缩大型语言模型（LLMs），克服了高硬件要求和慢速令牌生成的问题。AWQ可以选择性地...

Langchain课程是一个旨在帮助您快速上手使用Langchain的强大开源框架开发应用程序的课程，该框架可以使用大型语言模型（LLMs）如ChatGPT。 ## 核心要点 以下是该新闻的三个核心要点： - Langchain课程现已在GitHu...