月之暗面(Moonshot AI)正式发布Kimi Linear技术报告,这项突破性架构通过创新设计实现了对传统全注意力机制的全面超越。该架构在保持同等性能水平下,将KV缓存使用量最高降低75%,在100万上下文长度场景中解码吞吐...
Read More机器学习领域迎来重大突破——FlashPack技术正式发布,这项专为PyTorch设计的高吞吐量文件格式与加载机制,成功将模型检查点I/O性能推向新高度。传统模型加载过程中,GPU因等待检查点加载而产生的闲置时间一直是行业痛...
Read More谷歌开发者博客最新推出的Coral NPU(神经网络处理器)标志着边缘AI领域的重要突破。该平台采用全栈式开源架构,专为低功耗、持续在线的边缘计算场景设计,有效解决了当前边缘设备面临的三大核心挑战:首先,通过统...
Read More阿里云最新推出的Aegaeon GPU池化技术系统在AI算力领域实现重大突破,通过创新的资源调度机制将大模型推理所需的英伟达GPU数量从1192片缩减至213片,降幅达82%。该系统目前已在阿里云模型市场完成beta测试,其核心技...
Read More微软近日在GitHub开源社区正式发布《Edge AI for Beginners》系列课程,该项目专为人工智能初学者设计,系统性地介绍了边缘计算与AI结合的完整技术栈。课程内容涵盖边缘AI基础架构、主流轻量级模型(如MobileNet、Ti...
Read MoreMeta公司内部团队与vLLM、PyTorch展开深度技术合作,成功推出预填充/解码分离技术(prefill/decode disaggregation),这项突破性技术显著提升了大规模语言模型在生产环境中的推理性能。通过将推理过程分解为预填充...
Read MoreCloudflare近日公开了其内部AI模型部署平台Omni的技术细节,该平台通过轻量级隔离和内存超分配技术,实现在单个GPU上并行运行多个AI模型,显著提升边缘节点的计算资源利用率。Omni平台专为边缘计算环境设计,能够动...
Read MoreSim作为一款新兴的开源平台,专注于AI智能体工作流的构建与部署,其核心突破在于深度整合Ollama框架,支持完全离线的本地AI模型运行。这一特性不仅显著降低了企业使用AI技术的云端依赖和数据传输风险,更通过开源模...
Read More