研究人员通过前沿AI技术实现了重大突破：利用自主生成的Metal GPU内核，将PyTorch在苹果设备上的推理速度平均提升1.87倍。这项研究测试了215个PyTorch模型，其中部分工作负载甚至达到基线性能的数百倍加速。该技术采...

Morph团队近日推出了一款名为Morph的AI代码编辑工具，其核心创新在于能够以每秒4500个令牌（tokens）的速度直接应用AI生成的代码编辑到现有文件中，解决了传统全文件重写或搜索替换方法速度慢、易出错的问题。该工具...

Sentence Transformers最新升级引入对稀疏嵌入模型训练的支持，这一技术突破特别适用于混合搜索和重排序场景。该博客详细解析了模型的核心组件与训练步骤，并重点介绍了基于SPLADE架构的现成模型。稀疏编码技术通过...

PyTorch与vLLM近日宣布深化技术整合，新增支持量化、注意力机制定制及异构硬件加速等关键功能。这一合作标志着两大开源框架在优化大语言模型（LLM）推理性能方面取得重要突破：量化技术可降低模型计算资源消耗达4-8...

来自arXiv的最新研究论文提出SeLoRA（Spectral-efficient Low-Rank Adaptation）技术，通过将LoRA适配器重新参数化为稀疏谱子空间，在保持模型表达能力的前提下显著减少冗余参数。该技术在多模态任务测试中表现突出...

KV（键值）缓存是大型语言模型（LLM）推理过程中的关键技术，通过存储注意力计算的中间结果显著提升生成效率。以逐词生成"Time flies fast"为例，传统方式需在每个步骤重复计算"Time"和"flies"的注意力权重，而采用K...

苹果公司近日在GitHub开源了CVPR 2025论文《FastVLM: Efficient Vision Encoding for Vision Language Models》的官方实现代码库。该项目提出了一种高效的视觉编码方法，旨在优化视觉语言模型（VLM）中的视觉信息处...

IBM研究院近日推出开源大语言模型Bamba，该模型创新性地结合了Transformer架构的序列建模能力和状态空间模型（SSM）的推理速度优势。作为IBM Granite系列模型的技术前导，Bamba通过注意力机制与状态空间方程的混合设...