近日，一个名为Tinybox的离线AI设备项目在技术社区引发了广泛关注。该项目旨在打造一款能够本地离线运行高达1200亿参数大型语言模型的紧凑型硬件设备。这一构想直击当前AI应用的核心痛点：数据隐私、网络依赖和高昂...

人工智能初创公司Inception Labs近日正式发布了其新一代大语言模型Mercury 2，并宣称该模型是“全球最快的推理语言模型”。其核心目标是让生产环境中的AI应用响应达到“瞬时”体验。Mercury 2的技术亮点在于其采用了创新...

近日，一个名为LMCache的开源项目在GitHub上发布，旨在通过创新的键值（KV）缓存加速层，显著提升大型语言模型（LLM）的服务性能。该项目专为LLM推理服务设计，其核心在于能够跨GPU、CPU、本地磁盘和Redis等多种存储...

根据AI模型聚合平台OpenRouter发布的最新年度研究报告，通过对过去一年内超过100万亿个令牌（tokens）的实证分析，揭示了当前AI模型使用格局的重大转变。报告指出，以Claude 3.5 Sonnet、GPT-4o和o1系列为代表的“推...

加州大学伯克利分校研究团队开发的进化编码智能体OpenEvolve，成功将大型语言模型转化为自主代码优化器，在混合专家模型负载平衡任务中取得重大突破。该系统通过模拟自然选择机制，使LLM能够自主探索算法空间，最终...

深度求索（DeepSeek）最新推出的DeepSeek-V3.1 Terminus模型标志着AI智能体技术迈入新阶段。该版本在工具调用（Tool Use）能力上实现重大突破，通过优化推理架构和指令遵循机制，显著提升了复杂任务执行的准确性和效...

PyTorch与vLLM近日宣布深化技术整合，新增支持量化、注意力机制定制及异构硬件加速等关键功能。这一合作标志着两大开源框架在优化大语言模型（LLM）推理性能方面取得重要突破：量化技术可降低模型计算资源消耗达4-8...

近日，一篇关于将大语言模型（LLMs）编译为单一MegaKernel以实现低延迟推理的技术文章引发广泛讨论。该技术通过优化编译器设计，将传统需要多个内核调用的LLM推理过程整合为高度融合的单一内核，显著减少了内核启动...