AutoQuant 笔记本是一个新的工具，它可以将 HuggingFace 上的模型导出为五种不同的量化格式，包括 GGUF、GPTQ、EXL2、AWQ 和 HQQ。这些量化格式旨在优化模型的性能和效率，以便在不同的硬件和平台上部署。通过使用 A...

据报道，微软和OpenAI正在计划合作建立一个联合数据中心项目，该项目的总投资可能达到1000亿美元，旨在到2028年推出一款名为“星际之门”的巨型AI超级计算机。这一举措将进一步推动人工智能领域的发展，并可能改变云计...

1比特语言模型的研究为深度学习领域带来了新的突破。该技术通过在不损失性能的前提下，对语言模型中的线性层进行量化处理，实现了模型大小的大幅压缩。这一创新使得原本只能在高性能计算平台上运行的700亿参数模型，...

近日，英伟达的GPU在MLPerf推理测试中取得了优异的成绩，尤其是H200型号。MLPerf推理测试是业界公认的深度学习性能评估基准，对AI系统的推理能力进行全方位评测。在此次测试中，英伟达的GPU展现了其在处理复杂机器学...

科技巨头Databrix与Mosaic合作，成功训练了一个具有132B参数的混合专家（MoE）模型。该模型在3000个H100 GPU上进行了训练，目前其权重文件已经公开发布。此外，该模型也已在Databricks API上提供服务，供企业和开发...

苹果公司宣布，2024年全球开发者大会（WWDC）将于6月10日至14日举行。本次大会预计与往年类似，重点发布公司秋季软件更新及新硬件产品。据悉，苹果公司每天投入数百万美元用于培训自己的AI模型，并有传言称其正在与...

微软为构建AI电脑的OEM厂商设定了新规范，其中包括必须配备Copilot键的要求。要被认定为AI电脑，OEM合作伙伴还必须提供包括神经处理单元（NPU）、最新CPU和GPU以及访问Copilot在内的硬件和软件组合。目前尚不清楚OEM...

微软计划在5月20日举办一场以人工智能为主题的特别活动，届时CEO萨提亚·纳德拉将出席并探讨公司在硬件和软件方面的AI愿景。这场活动预计将展示微软如何将AI技术融入Windows操作系统和Surface系列产品中，以及这些技...

Anyscale与NVIDIA最近宣布了一项新的合作伙伴关系，旨在帮助客户将生成式AI模型扩展到生产环境中。通过这次合作，客户可以将Ray与Anyscale的托管运行环境相结合，以提高资源管理、可观测性和自动扩缩容的能力。这项...

由英特尔、谷歌、ARM、高通、三星等科技公司组成的统一加速（UXL）基金会，正在开发开源软件，旨在避免AI开发者受限于英伟达的专有技术。这一举措意味着，未来AI开发将有更多的选择，不必完全依赖英伟达的生态系统。...