谷歌近期在Gemma大型语言模型上实现了令人瞩目的推理速度提升，成功将性能提升了三倍。这一突破性进展的核心在于采用了“投机解码”（Speculative Decoding）技术。该技术的工作原理是部署一个轻量级、速度极快的“草稿...

近日，一款名为Hallucinopedia（注：根据项目网址halupedia.com推测，该名称可能为“Hallucination Encyclopedia”即“幻觉百科全书”的合成词，但网站实际名称为Halupedia，应尊重原项目名称）的趣味知识项目在Hacker N...

谷歌最新研究为人工智能领域的“幻觉”问题提供了一个颠覆性的理论框架。该论文指出，大语言模型（LLM）产生幻觉的核心并非传统认知中的“知识缺陷”或信息错误，而是模型在输出时未能有效表达其内在的不确定性。研究提...

近日，一篇来自JAX-ML团队的《Scaling Book》引起了AI领域的广泛关注。该书深入探讨了语言模型扩展背后的科学原理，为从业者提供了一份从硬件到实践的全景式指南。内容不仅详细解析了TPU与GPU的工作原理及其相互通信...

随着AI Agent在复杂任务中的广泛应用，其核心控制机制——Agent Harness的架构设计正成为影响安全性和多用户协作效率的关键因素。Agent Harness本质上是驱动大语言模型（LLM）的控制循环，负责与外部环境交互、管理凭...

在大型语言模型（LLM）和视觉语言模型（VLM）部署中，模型量化是降低计算和存储成本的关键技术。然而，传统量化方法往往需要在模型大小和推理精度之间做出艰难取舍，尤其是在超低位宽（如2-bit、3-bit）下，精度损失...

苹果机器学习研究团队提出了一种名为LaDiR（Latent Diffusion Reasoner）的创新推理框架，为大型语言模型（LLM）的文本推理能力带来了显著提升。LaDiR框架的核心在于巧妙地将连续潜在表示的强大表现力与潜在扩散模型...

PyTorch官方博客近日发布了一项名为AutoSP的创新技术，该技术旨在自动化地将标准Transformer训练代码转换为序列并行代码，用于长上下文大语言模型（LLM）的训练。AutoSP已与微软的DeepSpeed框架深度集成，使得开发者...