ThinkMesh 是一个创新的Python开源库，旨在提升大语言模型（LLM）的推理能力。该框架通过并行运行多样化的推理路径，并利用内部置信度信号对每条路径进行评分，动态地将计算资源重新分配给最有潜力的分支，最后通过...

斯坦福大学SNAP实验室在GitHub开源了Biomni项目，这是一种通用型生物医学AI智能体，通过结合大语言模型（LLM）的推理能力、检索增强规划技术以及代码执行功能，能够自主完成跨生物医学领域的研究任务。该系统突破了...

传统大型语言模型(LLM)系统普遍存在硬件利用率低下的问题，主要源于GPU内核的序列化启动及跨设备通信开销。一支研究团队创新性地开发出专用编译器，可将LLM推理过程自动编译为单一megakernel（超级内核），通过三大...

首份关于大语言模型（LLM）服务经济学的综合模型揭示，随着AI公司竞相部署高token消耗的推理模型和智能体，当前扩展推理能力的方法比预期更快遭遇瓶颈。研究发现，网络延迟而非带宽成为主要瓶颈，阻碍了公司通过简单...

近日，一篇关于将大语言模型（LLMs）编译为单一MegaKernel以实现低延迟推理的技术文章引发广泛讨论。该技术通过优化编译器设计，将传统需要多个内核调用的LLM推理过程整合为高度融合的单一内核，显著减少了内核启动...

KV（键值）缓存是大型语言模型（LLM）推理过程中的关键技术，通过存储注意力计算的中间结果显著提升生成效率。以逐词生成"Time flies fast"为例，传统方式需在每个步骤重复计算"Time"和"flies"的注意力权重，而采用K...

Tokasaurus是一款针对高吞吐量工作负载优化的大型语言模型（LLM）推理引擎，由斯坦福大学Scaling Intelligence团队研发。该引擎通过创新的架构设计和算法优化，显著提升了LLM在批量处理任务时的计算效率，为需要大规...

近日，开发者dipampaul17在GitHub上发布了KVSplit项目，该项目通过差异化精度的KV缓存量化技术，在苹果芯片（M1/M2/M3/M4）上实现了更长上下文的LLM推理。研究发现，LLM推理中的KV缓存中，键（Keys）和值（Values）...