NVIDIA在GitHub开源项目TensorRT-LLM中发布了名为Auto Deploy的创新工具，该技术实现了将PyTorch和Hugging Face模型转化为高效可部署格式的重大突破。通过TensorRT-LLM的优化编译器，模型推理速度可提升数倍，特别适...

Anyscale与NVIDIA最近宣布了一项新的合作伙伴关系，旨在帮助客户将生成式AI模型扩展到生产环境中。通过这次合作，客户可以将Ray与Anyscale的托管运行环境相结合，以提高资源管理、可观测性和自动扩缩容的能力。这项...

微软宣布了Windows AI Studio，这是一个供开发人员访问和配置AI模型的中心，提供了来自Azure AI Studio和Hugging Face的工具以及模型配置界面和性能测试模板等功能。英伟达更新了其TensorRT-LLM，支持GeForce RTX 30...