Anthropic公司近日在其Claude开发者平台正式推出结构化输出功能的公开测试版,该功能现已在Sonnet 4.5和Opus 4.1模型上开放使用。这项技术突破通过确保API响应严格遵循开发者定义的JSON模式与工具定义,从根本上解决...
Read MoreBaseten近日推出其Model APIs服务,旨在为开发者提供高性能的开源大语言模型部署解决方案。该服务支持包括Kimi K2、GPT-OSS、DeepSeek、Qwen 3等在内的多款前沿开源模型,承诺提供行业领先的性能表现和极具竞争力的...
Read MoreGroq的低延迟硬件技术现已正式成为Hugging Face Hub及SDK的可选推理服务提供商,这一合作标志着AI基础设施领域的重大突破。通过集成Groq的专用处理器架构,开发者能够以服务器无感知(serverless)方式极速调用Llama...
Read MoreGitHub最新开源项目Anemll(Artificial Neural Engine Machine Learning Library)引发开发者社区广泛关注,该项目实现了在苹果设备神经引擎(ANE)上高效运行大语言模型(LLMs)的技术突破。作为专为ANE优化的机器学习...
Read MoreNVIDIA在GitHub开源项目TensorRT-LLM中发布了名为Auto Deploy的创新工具,该技术实现了将PyTorch和Hugging Face模型转化为高效可部署格式的重大突破。通过TensorRT-LLM的优化编译器,模型推理速度可提升数倍,特别适...
Read More