AMD 宣布将开源其 Radeon GPU 的固件，这一决定意味着技术社区将能够快速改进人工智能框架，同时也可能提高 AMD 产品的市场接受度。开源固件将使得独立开发者和研究人员能够更深入地了解和修改 GPU 底层功能，从而推...

Lambda公司近日宣布，已获得5亿美元的特别债务融资，用于扩大其GPU云服务。此前，Lambda在年初已经完成了2.3亿美元的C轮融资。该扩张计划预计将进一步增强Lambda在GPU云计算市场的影响力，为客户提供更加强大的计算...

AI基础设施是部署和扩展AI技术的基础，它由GPU、专业软件和云服务构成。GPU作为AI计算的核心，提供了强大的并行处理能力，使得机器学习和深度学习算法得以高效运行。专业软件则为AI开发提供了必要的工具和库，简化了...

在移动设备上运行语言模型面临着延迟、带宽和功耗等多方面的挑战。本研究通过采用量化技术、移除键值缓存以及其他优化手段，成功实现了在手机上以每秒30个令牌的速度运行强大的Gemma 2B模型。这一成果比其他框架快约...

1比特语言模型的研究为深度学习领域带来了新的突破。该技术通过在不损失性能的前提下，对语言模型中的线性层进行量化处理，实现了模型大小的大幅压缩。这一创新使得原本只能在高性能计算平台上运行的700亿参数模型，...

人工智能的近期成就归功于三个主要因素：高效机器学习算法的创新、海量数据集的支持以及半导体技术的进步带来的能源高效计算。为了保持当前的发展速度，行业需要更为强大的设备。在过去的五十年中，行业一直专注于晶...

近日，英伟达的GPU在MLPerf推理测试中取得了优异的成绩，尤其是H200型号。MLPerf推理测试是业界公认的深度学习性能评估基准，对AI系统的推理能力进行全方位评测。在此次测试中，英伟达的GPU展现了其在处理复杂机器学...

科技巨头Databrix与Mosaic合作，成功训练了一个具有132B参数的混合专家（MoE）模型。该模型在3000个H100 GPU上进行了训练，目前其权重文件已经公开发布。此外，该模型也已在Databricks API上提供服务，供企业和开发...

微软为构建AI电脑的OEM厂商设定了新规范，其中包括必须配备Copilot键的要求。要被认定为AI电脑，OEM合作伙伴还必须提供包括神经处理单元（NPU）、最新CPU和GPU以及访问Copilot在内的硬件和软件组合。目前尚不清楚OEM...

Anyscale与NVIDIA最近宣布了一项新的合作伙伴关系，旨在帮助客户将生成式AI模型扩展到生产环境中。通过这次合作，客户可以将Ray与Anyscale的托管运行环境相结合，以提高资源管理、可观测性和自动扩缩容的能力。这项...