M1是一种基于Mamba架构的推理模型,通过扩展测试时间计算进行训练。虽然尚未完全达到最先进模型的水平,但M1在长上下文处理和高吞吐量任务中表现出色。这一突破为大规模语言模型的推理效率提供了新的研究方向,特别...
Read More人工智能研究机构Prime Intellect近日取得重大突破,成功通过完全分布式的方式训练了一个参数量高达320亿(32B)的神经网络模型,并创新性地结合强化学习技术提升模型的推理能力。值得关注的是,该团队已将其核心训...
Read More近期发表于arXiv的研究ThinkLite-VL通过创新性地应用蒙特卡洛树搜索(MCTS)技术量化样本难度,在视觉语言模型(VLM)领域取得突破性进展。该方法仅需11,000个训练样本即可显著提升模型推理能力,且无需依赖知识蒸馏...
Read MoreMeta最新发布的Llama 4模型通过创新性的混合位置编码策略,实现了超过1000万tokens的上下文处理能力。该技术核心在于交替使用无位置嵌入(NoPE)和旋转位置嵌入(RoPE),在保持计算效率的同时显著扩展了上下文窗口...
Read MoreMetaLoRA通过引入元学习原理的动态参数生成机制,显著提升了基于LoRA(Low-Rank Adaptation)的微调策略的灵活性和任务感知能力。这一技术突破解决了传统LoRA方法在跨任务适应性上的局限性,通过动态生成低秩矩阵参...
Read More近期,一项名为Mixture-of-Mamba的创新研究在人工智能领域引起广泛关注。该研究通过将模态感知稀疏性引入状态空间模型(SSMs),实现了高效的多模态预训练。与传统Transformer模型相比,Mixture-of-Mamba在文本、图像...
Read MoreSISO(Single Image Iterative Subject-driven Generation and Editing)是一种无需训练的推理时优化方法,能够从单张图像中个性化生成或编辑图像内容。该技术通过高效的优化算法,直接在推理阶段实现对图像主体的个...
Read More近日,Dereflection Any Image(DAI)项目推出了一种基于扩散模型的图像反反射新技术,该技术利用高质量数据集和渐进式训练方法,显著提升了图像反反射的效果。反反射技术一直是计算机视觉领域的重要研究方向,尤其...
Read More