近期，由Nvidia的成功案例所代表的生成性AI的热潮预示着对GPU和AI训练的巨大需求，这也引发了该行业的重大投资。在此背景下，各大科技公司正在推动这一增长，而初创公司面临的挑战则是将关注点从基础设施转向为终端...

OpenLM是一个专为训练最多可达70亿参数的中等规模语言模型设计的库和框架。它的设计理念是注重GPU速度和可修改性。作为收敛性验证，已经有在1.25T标记上训练的模型可供使用。这种新型的框架和库能够更好地满足中等规...

John Carmack 称，现阶段的人工智能之所以可能存在，可能要归功于他在《雷神之锤》上的工作，这款游戏引发了对 GPU 的需求。他认为，随着硬件和软件的发展，人工通用智能有望在2030年左右实现。他表示，目前的人工智...

ExLlamaV2是一个在GitHub上开源的项目，它是为现代消费级图像处理单元（GPU）上运行本地语言模型（LLMs）而设计的推理库。这款推理库的出现，可以帮助用户在个人电脑上使用现代GPU进行深度学习模型的推理计算，而无...

Nvidia在人工智能领域的领先地位远非稳固。它目前的优势主要是因为几乎没有人在运行大型机器学习应用程序，竞争对手还没有成熟，研究人员拥有购买力，以及关注于模型训练方面。但在不久的将来，使用CPU进行推理将会...

LoRAs是一种小型的参数适配器，通过插入到某些层次来改变底层模型的行为。你可以为基础模型进行批量生成，以提高性能。此外，你还可以对LoRA修改后的模型进行批量处理，并向不同的用户提供具有不同性能的模型。这种...

出色的研究员Chip Huyen提出了LLM（语言模型）研究中的十大开放性挑战。首先，幻觉和上下文长度问题在当前讨论中频繁出现。然而，最有趣的可能是多模态、架构改进，以及对GPU的替代方案。目前，有许多聪明的研究人员...

随着越来越多的云服务提供商为AI工作负载提供微调或服务，人们往往很难决定选择哪一个。这里提供了一套相当不错的启发式规则，帮助您决定在哪个云上运行您的任务。在选择云服务提供商时，您应首先考虑您的具体需求，...

英伟达宣布推出GH200，一款专为运行人工智能模型设计的新芯片。它与H100使用相同的GPU，但搭配了141GB内存和一个72核的ARM中央处理器。额外的内存将允许更大的人工智能模型在单个系统上运行，并显著降低推理成本。GH...

人工智能产业的发展正受到GPU供应不足的制约。这种短缺导致产品推出和模型训练等方面受到各种限制。一旦供需平衡，事情就会加速发展。本文将探讨导致供需矛盾的原因，持续时间以及解决方法。