Anthropic公司近日在其Claude开发者平台正式推出结构化输出功能的公开测试版,该功能现已在Sonnet 4.5和Opus 4.1模型上开放使用。这项技术突破通过确保API响应严格遵循开发者定义的JSON模式与工具定义,从根本上解决...
Read More月之暗面(Moonshot AI)正式发布Kimi Linear技术报告,这项突破性架构通过创新设计实现了对传统全注意力机制的全面超越。该架构在保持同等性能水平下,将KV缓存使用量最高降低75%,在100万上下文长度场景中解码吞吐...
Read More机器学习领域迎来重大突破——FlashPack技术正式发布,这项专为PyTorch设计的高吞吐量文件格式与加载机制,成功将模型检查点I/O性能推向新高度。传统模型加载过程中,GPU因等待检查点加载而产生的闲置时间一直是行业痛...
Read More谷歌开发者博客最新推出的Coral NPU(神经网络处理器)标志着边缘AI领域的重要突破。该平台采用全栈式开源架构,专为低功耗、持续在线的边缘计算场景设计,有效解决了当前边缘设备面临的三大核心挑战:首先,通过统...
Read More阿里云最新推出的Aegaeon GPU池化技术系统在AI算力领域实现重大突破,通过创新的资源调度机制将大模型推理所需的英伟达GPU数量从1192片缩减至213片,降幅达82%。该系统目前已在阿里云模型市场完成beta测试,其核心技...
Read More微软近日在GitHub开源社区正式发布《Edge AI for Beginners》系列课程,该项目专为人工智能初学者设计,系统性地介绍了边缘计算与AI结合的完整技术栈。课程内容涵盖边缘AI基础架构、主流轻量级模型(如MobileNet、Ti...
Read MoreMeta公司内部团队与vLLM、PyTorch展开深度技术合作,成功推出预填充/解码分离技术(prefill/decode disaggregation),这项突破性技术显著提升了大规模语言模型在生产环境中的推理性能。通过将推理过程分解为预填充...
Read MoreCloudflare近日公开了其内部AI模型部署平台Omni的技术细节,该平台通过轻量级隔离和内存超分配技术,实现在单个GPU上并行运行多个AI模型,显著提升边缘节点的计算资源利用率。Omni平台专为边缘计算环境设计,能够动...
Read More