近日，SGLang宣布成功集成Transformers后端技术，这一重大进展使开发者能够将Hugging Face的模型API与SGLang的高吞吐量、低延迟引擎相结合。该集成不仅显著提升了模型推理效率，还为自然语言处理（NLP）领域的实时应...

Fly.io团队近日发布了Phoenix.new，这是一个专为Phoenix框架设计的远程AI运行时环境。该技术允许开发者在云端高效运行AI模型，显著提升了Phoenix应用的智能化能力。根据官方博客介绍，Phoenix.new通过优化资源分配和...

Model Context Protocol (MCP) 规范自2025年3月26日上一版本发布以来，迎来了多项重要更新。此次变更包括移除了对JSON-RPC批处理的支持，新增了对结构化工具输出的支持，并在授权规范中进一步明确了安全注意事项和最...

Groq的低延迟硬件技术现已正式成为Hugging Face Hub及SDK的可选推理服务提供商，这一合作标志着AI基础设施领域的重大突破。通过集成Groq的专用处理器架构，开发者能够以服务器无感知（serverless）方式极速调用Llama...

近日，Kiln公司发布了一篇关于大型语言模型(LLM)微调的深度指南，引发了开发者社区的广泛讨论。文章详细探讨了在什么情况下需要对预训练的大型语言模型进行微调，以及如何开始这一过程的技术细节。随着ChatGPT等大模...

近日，Vercel公司正式推出AI Gateway的alpha测试版本，这一创新性工具允许开发者在无需管理API密钥或账户的情况下，轻松切换使用约100种不同的AI模型。这一技术的推出，标志着AI开发工具链的进一步简化和标准化，有...

近日，一篇题为《Build your own Siri. Locally. On-Device. No Cloud.》的技术文章引发广泛关注。文章详细介绍了如何在本地设备上构建类似Siri的语音助手，完全脱离云端服务，从而确保用户隐私安全。这一技术方案利...

近期，Hugging Face发布了一项名为AutoRound的后训练量化技术，该技术能够在保持模型性能和效率的同时，显著提升低比特量化模型的精度。这一突破性进展为边缘计算和移动端设备部署轻量级AI模型提供了新的可能性，解...