传统大型语言模型(LLM)系统普遍存在硬件利用率低下的问题，主要源于GPU内核的序列化启动及跨设备通信开销。一支研究团队创新性地开发出专用编译器，可将LLM推理过程自动编译为单一megakernel（超级内核），通过三大...

首份关于大语言模型（LLM）服务经济学的综合模型揭示，随着AI公司竞相部署高token消耗的推理模型和智能体，当前扩展推理能力的方法比预期更快遭遇瓶颈。研究发现，网络延迟而非带宽成为主要瓶颈，阻碍了公司通过简单...

在大型语言模型（LLM）时代，推荐与搜索系统正经历从传统物品ID到丰富'语义ID'（Semantic IDs）的重大转型。这一变革引入了生成式检索和多模态嵌入技术，显著提升了系统处理冷启动覆盖、长尾内容发现的能力，并实现...

开发者Maciek-roboblog近日在GitHub开源了Claude-Code-Usage-Monitor项目，该工具能实时监控Claude代码生成服务的使用量并预测是否会在会话结束前达到上限。由于Claude对代码生成有严格的使用限制，许多开发者在编程...

开发者krustowski发布了rou2exOS的第二版，这是一个用Rust和x86汇编编写的类DOS爱好操作系统。该项目已在GitHub上开源，并提供了可引导的ISO镜像，用户可以通过QEMU运行体验。Rust语言以其内存安全和并发特性在系统...

Featureform团队近日开源了EnrichMCP项目，这是一个专为AI智能体设计的Python ORM框架。该框架基于MCP（Model Context Protocol）构建，能够将数据模型转化为类型安全、可内省的结构化接口，使智能体能够像开发者操...

近日，一篇关于将大语言模型（LLMs）编译为单一MegaKernel以实现低延迟推理的技术文章引发广泛讨论。该技术通过优化编译器设计，将传统需要多个内核调用的LLM推理过程整合为高度融合的单一内核，显著减少了内核启动...

近日，Moonshot AI推出的Kimi-Dev-72B开源模型在SWE-bench Verified测试中取得了60.4%的优异成绩，成为当前开源模型中的新标杆。这一突破性成果得益于其采用的大规模强化学习技术，该技术通过在Docker环境中直接修补...