亚马逊正通过实用型生成式AI创新深刻改变人类工作与生活方式。作为拥有25年AI/ML模型部署经验的技术先驱，亚马逊已构建超1,000个生成式AI应用矩阵，覆盖从AWS云服务、Alexa智能语音到物流机器人等全业务场景。其AI人...

Block公司近日在GitHub开源了Goose AI代理项目，这是一个突破性的开源AI开发工具。与传统代码建议工具不同，Goose作为可扩展的AI代理，支持包括本地模型在内的任意大型语言模型（LLM）作为后端，提供桌面和命令行（C...

开发者Henry和Roman近日推出开源项目Cactus，这是一个专为智能手机设计的跨平台框架，支持本地部署大型语言模型（LLM）、视觉语言模型（VLM）和文本转语音（TTS）模型。与Ollama专注于笔记本和边缘服务器不同，Cactu...

vLLM是一款开源的大语言模型推理引擎，近日其团队发布了全新的V1架构。本文深入剖析了vLLM V1架构如何通过OpenAI兼容API服务器和核心引擎高效处理推理请求，实现业界领先的文本生成性能。该架构优化了推理请求的处理...

Meta旗下FAIR研究团队在arXiv最新论文中提出重大架构革新，通过名为Dynamic Tanh（DyT）的逐元素操作替代传统归一化层，使Transformer模型在保持性能的同时摆脱了对归一化层的依赖。这种S型曲线模拟技术能够自然复现...

近日，SGLang宣布成功集成Transformers后端技术，这一重大进展使开发者能够将Hugging Face的模型API与SGLang的高吞吐量、低延迟引擎相结合。该集成不仅显著提升了模型推理效率，还为自然语言处理（NLP）领域的实时应...

Fly.io团队近日发布了Phoenix.new，这是一个专为Phoenix框架设计的远程AI运行时环境。该技术允许开发者在云端高效运行AI模型，显著提升了Phoenix应用的智能化能力。根据官方博客介绍，Phoenix.new通过优化资源分配和...

Model Context Protocol (MCP) 规范自2025年3月26日上一版本发布以来，迎来了多项重要更新。此次变更包括移除了对JSON-RPC批处理的支持，新增了对结构化工具输出的支持，并在授权规范中进一步明确了安全注意事项和最...