据《金融时报》报道，OpenAI已与美国芯片巨头博通达成合作，双方将共同设计专用于人工智能计算的芯片，并计划于2025年投入生产。OpenAI已承诺投入100亿美元用于芯片订单，这些芯片将完全用于其内部AI模型训练与推理...

研究人员通过前沿AI技术实现了重大突破：利用自主生成的Metal GPU内核，将PyTorch在苹果设备上的推理速度平均提升1.87倍。这项研究测试了215个PyTorch模型，其中部分工作负载甚至达到基线性能的数百倍加速。该技术采...

当前深度学习训练规模不断扩大，如何高效利用多GPU资源成为关键挑战。最新技术分析揭示了并行化策略的核心在于设备网格（Device Mesh）的智能架构设计。设备网格作为PyTorch和JAX框架的核心抽象，将GPU集群组织为N维...

近日，GitHub上开源项目oLLM引发开发者社区广泛关注。该项目是一个专为大上下文语言模型推理设计的轻量级Python库，其核心突破在于仅需8GB显存的消费级GPU即可运行Llama-3.1-8B-Instruct等模型处理长达10万token的上...

Cloudflare近日公开了其内部AI模型部署平台Omni的技术细节，该平台通过轻量级隔离和内存超分配技术，实现在单个GPU上并行运行多个AI模型，显著提升边缘节点的计算资源利用率。Omni平台专为边缘计算环境设计，能够动...

近日，开源社区推出革命性工具库Kernel-builder，专门用于构建和部署跨硬件架构的自定义CUDA内核。该工具通过提供完整的开发框架，显著降低了高性能计算内核从开发到生产环境部署的技术门槛。根据技术文档介绍，开发...

近日，一项名为《Writing Speed-of-Light Flash Attention for 5090 in CUDA C++》的技术研究引发广泛关注。该研究通过CUDA C++实现了针对5090硬件的光速级Flash Attention算法，显著提升了注意力机制的计算效率。Fl...

Luminal是由开发者Joe及其团队构建的一款创新型开源GPU编译器，专门针对AI模型自动生成高度优化的GPU内核。与传统机器学习库不同，Luminal采用搜索式编译方法：它将高级模型代码（如PyTorch格式）转换为底层GPU代码...