NVIDIA在GitHub开源项目TensorRT-LLM中发布了名为Auto Deploy的创新工具,该技术实现了将PyTorch和Hugging Face模型转化为高效可部署格式的重大突破。通过TensorRT-LLM的优化编译器,模型推理速度可提升数倍,特别适...
Read More近日,轻量级视觉语言模型MoonDream迎来2.0版本重大更新。这款仅含20亿参数的VLM(Vision-Language Model)在最新测试中展现出惊人实力,其性能不仅超越多个同量级开源模型,甚至在部分基准测试中优于参数规模更大的...
Read More图灵公司最新发布的《最大化您的LLM投资回报率》白皮书揭示了影响大型语言模型(LLM)实际应用效果的关键因素。研究表明,模型性能不足往往并非源于算力限制,而是由训练目标偏差、评估体系缺陷和优化策略缺失等隐形...
Read More由Tianyi实验室发布的C3PO项目在GitHub开源了一种创新的测试时优化技术,该技术通过基于相似参考样本重新混合专家权重,显著提升了混合专家(Mixture-of-Experts,MoE)大语言模型的准确性。这一突破性方法不仅优化...
Read More近期发表于arXiv的研究ThinkLite-VL通过创新性地应用蒙特卡洛树搜索(MCTS)技术量化样本难度,在视觉语言模型(VLM)领域取得突破性进展。该方法仅需11,000个训练样本即可显著提升模型推理能力,且无需依赖知识蒸馏...
Read MoreInteractVLM作为新一代视觉语言模型(VLM),实现了从2D到3D的交互推理跨越。该模型通过创新性地利用强大的基础模型,结合多视角渲染技术,将2D推理能力提升至3D空间,能够精准分析人类与物体在三维环境中的接触关系。...
Read MoreMeta公司新推出的Llama 4模型套件包含了四款全新的AI模型,分别是Maverick、Scout、Behemoth和Reasoning。Maverick与Scout两款模型现已开放下载,用户可以在Llama官网以及Hugging Face平台获取,并已集成至Meta AI系...
Read MoreUnsloth团队针对DeepSeek最新R1模型成功开发出创新量化方案,其核心突破在于将混合专家(MoE)层压缩至惊人的1.58bit,同时通过动态量化技术保持其他模块在4-6bit精度。研究发现,模型Tokenizer的特殊结构为量化带来...
Read More