近日，英伟达的GPU在MLPerf推理测试中取得了优异的成绩，尤其是H200型号。MLPerf推理测试是业界公认的深度学习性能评估基准，对AI系统的推理能力进行全方位评测。在此次测试中，英伟达的GPU展现了其在处理复杂机器学...

Anyscale与NVIDIA最近宣布了一项新的合作伙伴关系，旨在帮助客户将生成式AI模型扩展到生产环境中。通过这次合作，客户可以将Ray与Anyscale的托管运行环境相结合，以提高资源管理、可观测性和自动扩缩容的能力。这项...

研究人员开发了一种名为“Quiet-STaR”的新技术，通过赋予AI系统“内心独白”，显著提升了其在推理测试中的性能。该技术已经被应用于Mistral 7B语言模型，并且取得了令人瞩目的效果。这一项技术的进步意味着AI系统能够更...

PuzzleVQA是一个专为测试大型多模态模型，如GPT-4V的抽象推理能力而设计的数据集。该数据集通过一系列复杂的视觉问题和答案对，评估模型在理解和推理方面的表现。这些问题往往需要模型进行深层次的逻辑思考和抽象概...

Chain-of-Spot（CoS）技术近日提出了一种交互式推理方法，该方法大幅提升了大型视觉语言模型（LVLMs）处理和理解图像的能力。CoS通过识别图像中对于特定问题或指令的关键区域，使得LVLMs能够在不损失图像分辨率的前...

Quiet-Star是一个推理框架，旨在增强语言模型生成正确输出的能力。该框架的代码已经公开，同时发布了一个每个令牌8步的模型。Quiet-Star通过优化模型的推理过程，提高了生成文本的准确性和相关性，对于自然语言处理...

英伟达在其开发者大会上宣布了新一代人工智能芯片及软件。这款名为Blackwell的AI图形处理器预计将于今年晚些时候出货。同时推出的NIM软件旨在简化AI的部署过程。英伟达力求通过NIM软件使得所有模型能够在其所有GPU上...

本文深入探讨了基于变换器的语言模型推理的“光速”理论极限，强调了内存带宽相较于计算能力的重要性。文章通过实例展示了推理速度主要受限于从内存中读取数据的能力，而非执行计算的速度，这对于优化和理解AI性能是一...

Cohere For AI发布了一个30B+参数模型，该模型在10种语言的推理、摘要和问答方面非常擅长。该模型名为Command-R，是自然语言处理领域的一项重大突破。Command-R模型可以在多语言环境下进行推理和答案提取，这对于跨...

Covariant宣布推出机器人基础模型，使机器人具备类似于人类的推理能力。这个具有80亿参数的RFM-1模型可以通过更多的数据消耗来扩展其能力。它将图像、视频、关节角度、力读数、吸盘强度等多种信息整合到其预测引擎中...