[论文推荐] 无损压缩大模型：动态长度浮点技术实现70%体积缩减，GPU推理效率飞跃

来自arXiv的最新研究论文提出了一种名为DFloat11的动态长度浮点无损压缩框架，通过创新性地利用LLM权重中BFloat16格式的低熵特性，实现了30%的模型体积缩减，同时保持输出结果与原始模型的比特级一致性。该技术采用...

Read More