Meta公司发布了新的开源AI语言模型家族Llama 2，其许可证允许其被整合到商业产品中。这些模型的大小从70亿参数到7亿参数不等，据报道，它们在大多数基准测试中表现优于其他开源聊天模型。Llama 2已在Microsoft Azure...

聚焦变换器是一种有趣的检索策略，它使用对比学习来提高key和value的缓存使用。此方法已被证明可相对稳定地扩展到几十万个标记。然而，目前尚不清楚这种方法在大规模应用中的表现如何，或者是否受到其他长期上下文方...

GGML是一个开源库，用于在低资源设备上运行语言模型。最近，团队已经进行了并行推理的MPI（Message Passing Interface）工作。现在，随着这些变化的实施，团队正在努力在树莓派集群上推理llama 65B模型。这一行动可...

LlamaIndex发布了0.7.0版本，旨在改进库的模块化和可定制性。新版本包括独立的OpenAI、HuggingFace和PaLM LLM抽象，允许用户独立使用响应合成模块，并为文档/节点对象提供了增强的元数据管理。此更新旨在增强LLM应用...

近日，一款名为Talk-Codebase的新工具在GitHub上发布了。该工具利用OpenAI、LlamaCpp和GPT-4-All技术，实现了与代码库和文档进行交流的功能。通过这款工具，开发人员可以直接与代码库和文档进行对话，提问、查找信息...

ExLlama是HF Transformers实现的一种内存更高效的量化权重重写。这个重写的目的是为了在使用量化权重时能够更好地节省内存。Llama是HF Transformers的一个开源项目，但在使用量化权重时存在内存占用较高的问题。ExLl...

LLaMA-Tokenizer-JS是一个JavaScript程序，它可以在浏览器（以及Node中）客户端工作，用于解析LLaMA文本。这个项目现在已经发布在GitHub上！ 以下是这个项目的三个主要特点： - 在浏览器中使用：LLaMA-Tokenizer-J...

在 CLIP、Whisper 和 LLaMA 的基础上，Macaw-LLM 探索性地开发了一种多模态语言模型，无缝结合了图像、视频、音频和文本数据。 以下是该新闻的三个核心要点： - Macaw-LLM 是一种多模态语言模型 - 它结合了图像、...