英伟达宣布推出GH200，一款专为运行人工智能模型设计的新芯片。它与H100使用相同的GPU，但搭配了141GB内存和一个72核的ARM中央处理器。额外的内存将允许更大的人工智能模型在单个系统上运行，并显著降低推理成本。GH...

人工智能产业的发展正受到GPU供应不足的制约。这种短缺导致产品推出和模型训练等方面受到各种限制。一旦供需平衡，事情就会加速发展。本文将探讨导致供需矛盾的原因，持续时间以及解决方法。

WebGPU是一种API，它为开发者提供了对GPU的低级别、通用访问能力。这篇博客文章旨在让Web开发者可以更好地理解和使用WebGPU。文章并没有着重介绍如何使用WebGPU来生成图形，而是教导读者如何利用这个API来获取GPU的...

随着Transformer的不断流行，使用频率远远超过训练。这可能会非常慢和昂贵，但通过在GPU上进行一些巧妙的内存布局优化，它们可以获得多倍的加速。

这项研究介绍了LOw-Memory Optimization（LOMO），这是一种旨在显著减少大型语言模型（LLM）训练所需资源的优化器，目前这一过程需要大量的GPU资源。LOMO的创新方法使得只需使用一台具有8个RTX 3090 GPU（每个具有24...

本文讨论了几种加速大型语言模型（LLM）训练和推理的技术，以使用高达100K个输入令牌的大上下文窗口。这些技术包括：ALiBi位置嵌入，稀疏注意力，闪电注意力，多查询注意力，条件计算以及使用80GB的A100 GPU。

Nvidia A100是市场上最强大的GPU之一。它们已被用于训练迄今为止最流行的模型之一。它们是数据中心的GPU，通常意味着您无法在自己的硬件上运行它们。本文探讨了如何以几千美元的价格自己组装一个本地运行的A100超级...

这家中国巨头已经从NVIDIA购买了约10万个GPU，用于不同的人工智能项目。这些订单是在对GPU出口进行监管限制之前下达的。这是又一家通过计算能力增强其人工智能努力的公司。

AMD推出的MI300X人工智能GPU将于今年秋季后期提供样片，并在明年开始大量出货。目前，Nvidia在AI芯片市场上占据着超过80%的市场份额。尽管AMD尚未披露芯片的价格，但其发布可能会对Nvidia的GPU造成压力，Nvidia的GPU...

据报道，一些知名天使投资者为初创企业建立了一个巨大的计算机集群，以便其用于训练模型。该集群提供了2K H100 GPU。 ## 内容要点： 以下是该新闻的三个核心要点： - 一些知名天使投资者为初创企业建立了一个计算...