英伟达在其GitHub仓库Optimum-Nvidia中发布了TensorRT的最新更新，这一更新使得AI推理速度大幅提高，达到了比基线快28倍的速度。特别是在Llama 2的基准测试中，能够达到每秒处理1200个令牌的惊人速度。这一进步得益...

近日，GitHub上出现了一个新的项目LlamaGym，该项目专注于通过在线强化学习方法对大型语言模型（LLM）代理进行微调。大型语言模型在近年来取得了显著的进展，但如何进一步提升其性能，尤其是在特定任务上的表现，成...

近期，一个名为tlm的本地命令行助手项目在GitHub上引起了开发者社区的关注。tlm是一个基于CodeLLaMa的本地代码自动补全工具，旨在提高开发者在命令行中的工作效率。通过利用CodeLLaMa的强大代码理解能力，tlm可以自...

Meta在这篇博客文章中概述了用于训练Llama 3的基础设施。它介绍了存储、网络、Pytorch、NCCL等改进。这将为Meta今年其余时间上线的H100s打下基础。

如何加速推理是许多人关注的话题。本代码分享介绍了如何通过静态KV缓存提高Hugging Face框架上Llama模型的推理速度。

Ollama是一个开源的模型库，提供了各种各样的机器学习模型。这个库可以帮助数据科学家和机器学习工程师快速开发和部署模型。但是，有时候我们需要使用自己的模型。在本文中，我们将介绍如何将自己的模型添加到Ollama...

随着人工智能模型的不断发展，越来越多的研究人员开始研究如何在不影响模型准确性的前提下，提高模型的计算效率和内存利用率。LLM量化是一种后训练量化技术，可以使像OPT和LLaMA2这样的大型语言模型更具内存和计算效...

Dual Chunk Attention（DCA）扩展了大型语言模型（如Llama2 70B）的能力，使它们能够处理超过100k个令牌而无需额外的训练。它将注意力计算分解成块，增强了模型对短期和长期上下文的理解。