ExLlamaV2是一个在GitHub上开源的项目，它是为现代消费级图像处理单元（GPU）上运行本地语言模型（LLMs）而设计的推理库。这款推理库的出现，可以帮助用户在个人电脑上使用现代GPU进行深度学习模型的推理计算，而无...

大型语言模型（LLMs）是否具备人类般的推理能力的争论仍在进行中。一方面，有些研究显示，这些模型主要依赖于记忆和模式匹配。另一方面，也有研究显示，它们在与训练数据相关的任务中表现出色，显示出一定的推理能力...

本研究的作者们已经创建了一种方法，用以测试视觉语言模型对于他们所看到的内容进行逻辑思考的能力。视觉语言模型是一种结合了计算机视觉和自然语言处理的技术，它能理解和解释图片中的内容。然而，这种模型在理解和...

语言模型推理通常较慢，因为这些模型的运行严重依赖内存。为了解决这一问题，人们引入了使用较小的草稿模型进行推测性解码，以“提前”提供给大模型的建议。这种方法效果不错，但实现起来复杂，且寻找一个好的草稿模型...

Nvidia在人工智能领域的领先地位远非稳固。它目前的优势主要是因为几乎没有人在运行大型机器学习应用程序，竞争对手还没有成熟，研究人员拥有购买力，以及关注于模型训练方面。但在不久的将来，使用CPU进行推理将会...

前称为Generally Intelligent的Imbue公司，已经成功融资2亿美元，完成了B轮融资，公司估值超过十亿美元。这笔资金的目标是加速推理和编程能力的AI系统的开发。Imbue的使命是生产真正的个人电脑，以提高用户的选择权...

在变压器网络中，前馈层占据了大部分的总权重。然而，如果你使用一个单一的大型前馈层，共享给编码器和解码器，你可以显著提高推理时间，同时性能的下降微乎其微。这是一种有效的优化手段，可以有效提升网络的运行效...

原名为Adept的柿子科技公司，近期推出了其极其高效的8b参数模型——柿子-8B。同时，该公司也发布了推理代码。此次发布的模型和代码中包含了许多亮点，其中最引人注目的是具备70k未使用的嵌入功能，这为多模态扩展提供...

微软发布了一种名为“思想算法”（AoT）的新型AI训练方法，旨在使大型语言模型如ChatGPT的推理能力更加高效和类人化。这种新颖的AI训练方法是微软在人工智能领域的一项重要突破，表明了微软在深化机器学习和人工智能技...

GitHub近日发布了新工具DSPy，这是一套简洁的Python模块集，能够统一调动和微调语言模型(LMs)的技术，并通过推理和工具/检索增强来改进它们。DSPy的设计理念是使得这些复杂的技术可以通过简洁的代码实现，同时也使得...