PyTorch与vLLM近日宣布深化技术整合，新增支持量化、注意力机制定制及异构硬件加速等关键功能。这一合作标志着两大开源框架在优化大语言模型（LLM）推理性能方面取得重要突破：量化技术可降低模型计算资源消耗达4-8...

人工智能语音技术公司ElevenLabs近日发布了名为11.ai的个人AI语音助手，该产品以其低延迟特性脱颖而出，并深度整合了Perplexity、Linear、Slack和Notion等主流生产力平台。通过MCP（多通道处理）集成技术，11.ai能够...

近日，SGLang宣布成功集成Transformers后端技术，这一重大进展使开发者能够将Hugging Face的模型API与SGLang的高吞吐量、低延迟引擎相结合。该集成不仅显著提升了模型推理效率，还为自然语言处理（NLP）领域的实时应...

传统大型语言模型(LLM)系统普遍存在硬件利用率低下的问题，主要源于GPU内核的序列化启动及跨设备通信开销。一支研究团队创新性地开发出专用编译器，可将LLM推理过程自动编译为单一megakernel（超级内核），通过三大...

近日，一篇关于将大语言模型（LLMs）编译为单一MegaKernel以实现低延迟推理的技术文章引发广泛讨论。该技术通过优化编译器设计，将传统需要多个内核调用的LLM推理过程整合为高度融合的单一内核，显著减少了内核启动...

在机器人技术领域，实时性至关重要——输入与输出之间的延迟会直接影响机器人的性能表现。尽管视觉-语言-动作（VLA）模型在开放世界泛化方面取得了令人瞩目的成果，但其运行速度往往较慢。近日，一项名为“实时分块”的...

Groq的低延迟硬件技术现已正式成为Hugging Face Hub及SDK的可选推理服务提供商，这一合作标志着AI基础设施领域的重大突破。通过集成Groq的专用处理器架构，开发者能够以服务器无感知（serverless）方式极速调用Llama...

GitHub热门项目Void近日引发广泛关注，作为Cursor编辑器的开源替代方案，该项目在Hacker News上获得664点赞和274条深度讨论。Void编辑器主打轻量化设计和高度可定制性，其beta版本已通过voideditor.com开放下载。技...