MobileVLM V2是一系列为移动设备量身打造的先进视觉语言模型，通过创新的架构展示了显著的性能提升。新的MobileVLM V2拥有更快的推理速度，更高的准确性和更广泛的应用场景。MobileVLM V2不仅支持图像和文本之间的交...

GitHub仓库发布了一个名为DeepSeekMath 7B的语言模型，专门设计用于解决复杂的数学问题。该模型训练了大量以数学为重点的内容，它可以理解数学问题的语法和语义，并根据其推理出答案。DeepSeekMath 7B是一个重要的AI...

Aphrodite引擎可以用于减少VRAM需求，提高AI推理工作负载的吞吐量。Pygmalion推理引擎是一种全新的AI推理引擎，它可以在减少VRAM需求的同时提高吞吐量。该引擎基于Aphrodite引擎并进行了优化，可以在保持准确性的同...

Llava是一种视觉语言模型，最新版本为1.6，经过改进后，其OCR、推理和世界知识等方面有了很大提升，甚至在某些任务上可以与Gemini相媲美。Llava团队计划发布数据、代码和模型，以便更多人能够使用。

WhisperKit是一个用Swift编写的开源库，它将OpenAI的Whisper语音识别模型与Apple的CoreML框架集成，以在Apple设备上进行高效的本地推理。它可以通过Swift Package Manager集成到Swift项目中。WhisperKit会自动下载推...

受 Llama 模型的努力启发，这个项目使用纯 Rust 在 CPU 上运行 Mamba 推理。

本文简要介绍了硬件特定的矩阵乘法优化和一般流程，以加速AI代码。现代深度学习算法中，矩阵乘法是常见的操作。优化矩阵乘法的实现可以显著提高模型的训练和推理速度，进而提高模型的准确性和效率。矩阵乘法优化的主...

Meta最近推出了一系列令人难以置信的音乐和声音生成模型，并发布了推理代码。这些模型是通过机器学习训练的，可以生成高质量的音乐和声音效果。该公司表示，这些模型可以用于广泛的应用场景，包括游戏声音、虚拟现实...

LMSYS发布了两项语言模型推理的新技术。第一项是对后端进行的改进，提高了每秒的标记总数性能。第二项是嵌入式领域特定语言，用于复杂提示技术，允许并行提示。

一项新的研究通过解决图像编辑中存在的挑战，例如不明确的指令和识别需要修改的图像部分，大幅提高了使用自然语言指令编辑图像的效率。该研究使用了深度学习和自然语言处理技术，将自然语言指令转换为可执行的图像编...