OpenAI近日将其内部研发的高性能计算核心——FP4（4-bit浮点）与MoE（混合专家）系统的关键算子通过GitHub PR开源至Triton语言项目。这一举动标志着AI基础设施领域的重要进展：FP4作为新兴的低精度计算格式可显著提升...

受 Llama 模型的努力启发，这个项目使用纯 Rust 在 CPU 上运行 Mamba 推理。