ExtensityAI团队在GitHub开源了SymbolicAI项目，这是一个基于神经符号系统（Neuro-Symbolic）架构设计的组合式可微分编程库，旨在为大语言模型（LLMs）提供结构化推理能力。该项目通过将符号逻辑与神经网络梯度优化...

最新研究发现，经过机器遗忘训练的大语言模型（LLMs）会留下可检测的行为和激活空间“指纹”。通过简单的分类器，可以以超过90%的准确率识别出这些遗忘痕迹。这一发现引发了关于隐私和版权的重大关切，尤其是在涉及敏...

最新研究表明，通过StochasTok训练方法可显著提升大语言模型对子词结构的理解能力。该创新技术采用随机分解标记的策略，在训练过程中让模型以多种拆分形式接触词汇（如将'strawberry'随机拆分为'straw|berry'、'str|...

传统大型语言模型(LLM)系统普遍存在硬件利用率低下的问题，主要源于GPU内核的序列化启动及跨设备通信开销。一支研究团队创新性地开发出专用编译器，可将LLM推理过程自动编译为单一megakernel（超级内核），通过三大...

在大型语言模型（LLM）时代，推荐与搜索系统正经历从传统物品ID到丰富'语义ID'（Semantic IDs）的重大转型。这一变革引入了生成式检索和多模态嵌入技术，显著提升了系统处理冷启动覆盖、长尾内容发现的能力，并实现...

近日，一篇关于将大语言模型（LLMs）编译为单一MegaKernel以实现低延迟推理的技术文章引发广泛讨论。该技术通过优化编译器设计，将传统需要多个内核调用的LLM推理过程整合为高度融合的单一内核，显著减少了内核启动...

KV（键值）缓存是大型语言模型（LLM）推理过程中的关键技术，通过存储注意力计算的中间结果显著提升生成效率。以逐词生成"Time flies fast"为例，传统方式需在每个步骤重复计算"Time"和"flies"的注意力权重，而采用K...

一项突破性研究提出让大语言模型通过生成"自我编辑指令"实现持续性参数更新的训练框架。该技术通过监督微调使模型自主产生训练材料，在较小参数量下性能超越GPT-4.1，为解决AI领域的"数据墙"瓶颈提供了新思路。研究...