大语言模型(LLM)通过Tokenization技术将文本分解为更小的单元,再转换为数值表示进行处理。这一过程涉及BPE(字节对编码)、WordPiece和SentencePiece等主流算法,直接影响模型的计算成本、上下文理解能力和多语言处理...
Read More阿里巴巴最新开源的Qwen3-235B思维模型在技术领域取得重大突破,该模型在AIME25数学竞赛中达到92.3%的准确率,与OpenAI的O4-mini性能相当,并在编码基准测试中以74.1%的LiveCodeBench得分实现超越。这一2350亿参数的...
Read More最新研究发现,在数学问题中插入诸如'有趣的事实:猫一生大部分时间在睡觉'等无关短语,会导致大语言模型的错误应答率较基准水平飙升300%。这种与查询无关的对抗性触发现象具有跨模型规模的迁移性,且蒸馏版模型表现...
Read MoreGitHub最新开源项目CoRT(Code Interpreter Reasoning)提出了一种创新的方法,通过提示工程(hint engineering)对大语言模型进行后训练(post-train),使其能够将复杂计算任务智能分配给外部代码解释器执行。这一...
Read MoreTreeRL是一种创新的语言模型训练方法,通过结合on-policy树搜索和中间监督机制,实现了无需单独奖励模型的LLM训练。这一技术突破来自最新arXiv论文,相比传统的ChainRL方法,TreeRL在数学推理和代码生成等复杂任务上...
Read More谷歌最新发布的Gemini Diffusion标志着大语言模型架构的重大突破,这是该公司首次采用扩散模型(Diffusion Model)完全替代传统的Transformer架构。技术文档显示,该模型在保持与Gemini 2.0 Flash-Lite相当性能表现...
Read More微软近日发布了Phi-4-reasoning系列变体,这一创新标志着小型语言模型(SLMs)在效率与复杂推理能力上的重大进展。Phi-4-reasoning通过算法优化和架构改进,在保持参数规模精简的同时,实现了接近大型语言模型(LLMs...
Read More最新研究表明,通过在大语言模型(LLM)的残差流中实施简单的表征控制向量干预,可显著调节其推理性能。这项发表于arXiv的突破性研究揭示了神经网络内部表征与逻辑推理能力的直接关联,为可解释AI领域提供了新工具。...
Read More