NVIDIA在GitHub开源项目TensorRT-LLM中发布了名为Auto Deploy的创新工具，该技术实现了将PyTorch和Hugging Face模型转化为高效可部署格式的重大突破。通过TensorRT-LLM的优化编译器，模型推理速度可提升数倍，特别适...

近日，Character AI在其大规模推理系统中成功减少了KV缓存的使用，并在一个简化版的GPT模型中实现了这一优化。通过这一技术改进，内存使用量减少了40%。这一优化不仅提升了系统的运行效率，还为未来更大规模的AI模型...

英伟达在其开发者大会上宣布了新一代人工智能芯片及软件。这款名为Blackwell的AI图形处理器预计将于今年晚些时候出货。同时推出的NIM软件旨在简化AI的部署过程。英伟达力求通过NIM软件使得所有模型能够在其所有GPU上...

训练吞吐量、提示处理吞吐量和生成吞吐量都有不同的成本，并且受到不同计算资源的瓶颈制约。因此，某些工作负载在Llama 70B上实际上比支付GPT-3.5更昂贵。这篇博客写得非常优雅，围绕模型部署考虑问题有一些非常好的...