近日，CodeI/O技术通过将代码转换为输入输出预测格式，显著提升了大语言模型（LLM）的推理能力。该方法通过教授通用推理原则，而非依赖代码语法，从而在多种推理任务中实现了性能优化。此外，通过多轮修订进一步验证...

2023年，AMD针对其图形处理单元（GPU）进行了优化，以增强其在大型语言模型（LLM）推理任务中的竞争力。这项优化涉及到硬件和软件层面的协同工作，使得AMD的GPU在处理复杂的机器学习任务时能提供更好的性能和效率。...

最新研究显示，大型语言模型（LLM）的推理能力得益于预训练阶段发展出的程序性知识。程序性知识指的是一系列规则和步骤，这些知识在预训练过程中被模型学习并内化，进而在后续任务中被用来指导推理。这一发现强调了...

QoQ，一种新型量化算法，通过使用4位权重、8位激活和4位KV缓存，加速了大型语言模型推理。量化是一种广泛应用于深度学习中的技术，它能够减少模型的存储需求和计算复杂性。在这种情况下，QoQ算法采用了较低精度的数...

本文深入探讨了基于变换器的语言模型推理的“光速”理论极限，强调了内存带宽相较于计算能力的重要性。文章通过实例展示了推理速度主要受限于从内存中读取数据的能力，而非执行计算的速度，这对于优化和理解AI性能是一...

LMSYS发布了两项语言模型推理的新技术。第一项是对后端进行的改进，提高了每秒的标记总数性能。第二项是嵌入式领域特定语言，用于复杂提示技术，允许并行提示。

苹果公司发布了两篇论文，介绍了新的三维头像和高效语言模型推理技术，这些技术可以让AI系统在iPhone和iPad上运行。这些技术的引入将使iPhone和iPad变得更加智能，更加个性化。这意味着用户可以在他们的设备上运行更...

本文包含几个新的人工智能发展故事。这些故事涵盖了人工智能领域的竞争、行业就业现状、人工智能战略、Sourcegraph的Cody AI编码助手正式上线等。多年来致力于为其代码添加注释的工程师们为大型语言模型推理其代码提...