漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2025-04-07 talkingdev

DeepSeek R1模型1.58bit量化新突破:MoE层实现超低比特压缩

Unsloth团队针对DeepSeek最新R1模型成功开发出创新量化方案,其核心突破在于将混合专家(MoE)层压缩至惊人的1.58bit,同时通过动态量化技术保持其他模块在4-6bit精度。研究发现,模型Tokenizer的特殊结构为量化带来...

Read More
2025-04-04 talkingdev

[开源]Perplexity发布Pplx Cuda Kernels,MoE性能超越DeepSeek

人工智能领域迎来重要技术突破,Perplexity公司近日在GitHub开源了其混合专家系统(MoE)的核心计算库Pplx Cuda Kernels。这套基于CUDA的高性能计算内核在实际测试中展现出显著优势,在大规模运算场景下性能超越知名AI...

Read More
  1. Prev Page