美国芯片巨头AMD已同意收购多伦多AI芯片创业公司Taalas。这家由前AMD员工及Tenstorrent核心成员创立的公司，专注于将AI模型“硬连线”进定制硅片，从而在前沿推理场景中大幅打破计算与内存瓶颈。与传统依赖通用GPU或庞...

在大语言模型走向产业级部署的进程中，如何在不显著牺牲质量的前提下降低推理成本和响应时延，是各家前沿实验室竞相突破的核心瓶颈。OpenAI工程师团队首次较为系统地披露了支撑ChatGPT及Codex高效运转的智能体循环（...

OpenAI 最新披露，尽管其前沿模型 GPT-5.6 在数学领域解决了多个长期悬而未决的问题，并成功打通《宝可梦 火红》等复杂游戏，但在 ARC-AGI-3 基准测试中原始得分仅有 7.8%。这一巨大反差揭示了一个关键问题：基准测...

Graphsignal Profiler 是一个面向生产环境的推理性能剖析平台，专为大规模 AI 推理场景设计。它能够跨越模型、推理引擎、GPU 及其他加速器，提供全栈式的性能可见性，帮助工程师精准定位瓶颈并优化推理效率。与传统...

在当今 AI 应用爆发式增长的时代，大型语言模型（LLM）动辄拥有数十亿甚至上千亿参数，其设计初衷是追求“全能”，但在实际落地中，这种“大而全”往往意味着在特定场景下的效率低下和资源浪费。Fastino Labs 推出的 Pio...

Morph LLM近期发布了一系列针对开源代码生成模型的优化技术，旨在解决当前推理效率瓶颈。首先，团队通过训练一个专注于模型自身编码输出（而非通用互联网数据）的“起草模型”（drafter），在投机解码中取得了显著加速...

近日，GitHub上开源了一个名为TriAttention的项目，其核心是一种创新的KV（键值）缓存压缩技术。该技术旨在解决大语言模型在处理长上下文任务时，因KV缓存占用内存巨大而难以在消费级或内存受限的GPU上高效部署的行...

近日，在GitHub上开源名为“ntransformer”的高效大语言模型推理引擎项目，其核心创新在于探索并实现了通过NVMe存储设备直接与GPU通信，绕过CPU和系统内存的传统数据路径，从而在消费级显卡RTX 3090上成功运行了参数量...