首份关于大语言模型（LLM）服务经济学的综合模型揭示，随着AI公司竞相部署高token消耗的推理模型和智能体，当前扩展推理能力的方法比预期更快遭遇瓶颈。研究发现，网络延迟而非带宽成为主要瓶颈，阻碍了公司通过简单...

DeepNVMe最新版本实现了多项突破性升级：首先扩展了对模型检查点（checkpointing）和推理工作负载的支持，使深度学习框架能更高效地管理训练中间状态；其次新增PCIe Gen5 NVMe的扩展能力，显著提升存储带宽以应对大...

Groq的低延迟硬件技术现已正式成为Hugging Face Hub及SDK的可选推理服务提供商，这一合作标志着AI基础设施领域的重大突破。通过集成Groq的专用处理器架构，开发者能够以服务器无感知（serverless）方式极速调用Llama...

OpenAI宣布将Prompts（提示词）正式升级为API原语，这一重大更新将允许开发者在Playground、API、Evals和Stored Completions等平台间实现提示词的集中管理、版本控制和优化。开发者现在可以预先配置提示词的工具、模...

Tokasaurus是一款针对高吞吐量工作负载优化的大型语言模型（LLM）推理引擎，由斯坦福大学Scaling Intelligence团队研发。该引擎通过创新的架构设计和算法优化，显著提升了LLM在批量处理任务时的计算效率，为需要大规...

OpenAI宣布与阿联酋科技集团G42等合作伙伴共同在阿布扎比建设超大规模人工智能数据中心Stargate UAE。该设施设计容量达1吉瓦，建成后将成为全球算力最强的AI基础设施之一。作为阿联酋国家AI战略的核心项目，首期200...

Klavis AI近日发布了一项突破性的生产级MCP（模型计算平台）集成解决方案，该方案通过GitHub开源仓库向开发者开放。这一技术显著降低了AI应用与MCP服务器的整合门槛，提供稳定连接、内置身份验证机制及多客户端支持...

OpenAI工程师团队近期披露了ChatGPT图像功能在3月发布时的技术挑战与解决方案。该功能上线首周即吸引1亿新用户，生成7亿张图像，其中印度市场每小时新增用户峰值达100万。面对同步图像生成系统无法承受的突发流量，...