KV缓存的量化是Transformer架构的一个技术细节，它使其在推理时使用更少的内存。量化是在最小损失质量的情况下缩小浮点精度。

Vision Pro和OpenAI的Sora在同一个月份推出。与此同时，Groq正在展示实时推理可能比以前想象的更可行。台积电正在推动2nm芯片，而英特尔正在做出可靠的努力加入其中。虽然虚拟现实还需要更多的工作，但现在许多关键...

Qwen团队发布了两个新的语言模型，分别是1.8B和72B的LLMs，与Llama 2相似，这些模型训练了3T个标记，并且在许多任务上表现出色。除了发布聊天版本和量化版本外，这些模型还在推理、数学和代码方面表现出色。

最近，这位Reddit用户将两个复杂的代码库放入了GPT-4-Turbo-128K和Gemini 1.5中，并向它们提出了问题。代码库实现了一个并行的inet运行时，因此涉及一些难以处理的编译器内容。在理解代码库的任务中，Gemini 1.5完全...

最近，研究人员提出了一种新方法，称为SLEB，可以通过剪枝冗余的变压器块来加速大型语言模型（LLMs）的训练和推理。该方法可以减少存储空间和计算成本，同时保持模型的准确性。SLEB通过自适应的剪枝技术来删除冗余的...

DeepMind和南加州大学的研究人员开发出SELF-DISCOVER框架，该框架显著提高了LLM的推理能力，在类似GPT-4的模型任务中比传统方法提升了32%。这个两阶段的框架使得LLMs能够自主地形成和利用推理结构。这个进步代表了AI...

CogCoM是一种全新的通用视觉语言模型，它具有独特的操作链机制。这使得它能够通过主动调整输入图像来处理多轮视觉推理。该模型已经在GitHub上发布。

Google提出了一种新颖的提示技术，允许语言模型使用一组推理基元来发现更大的问题特定推理框架。这意味着模型可以选择不同的模块并将它们组合起来以更好地解决复杂问题。这个代码库是这些想法的一个非官方实现。

MobileVLM V2是一系列为移动设备量身打造的先进视觉语言模型，通过创新的架构展示了显著的性能提升。新的MobileVLM V2拥有更快的推理速度，更高的准确性和更广泛的应用场景。MobileVLM V2不仅支持图像和文本之间的交...

GitHub仓库发布了一个名为DeepSeekMath 7B的语言模型，专门设计用于解决复杂的数学问题。该模型训练了大量以数学为重点的内容，它可以理解数学问题的语法和语义，并根据其推理出答案。DeepSeekMath 7B是一个重要的AI...