DeepSeek近期推出了一个具有超过2000亿参数的模型DeepSeek-V2，其中激活参数达到210亿。无论是在编码还是推理方面，该模型的表现都极为出色。虽然目前尚不清楚其性能是否超过了拥有700亿参数的Llama 3模型，但无疑，...

近日，一款名为Mistral.rs的LLM推理平台在GitHub上备受关注。它可以支持多种设备上的推理，支持量化，并且具有易于使用的应用程序，带有OpenAI API兼容的HTTP服务器和Python绑定。无论是在深度学习推理、设备兼容性...

MaxText是一个高性能、高可扩展性的开源低级机器学习模型(LLM)，完全使用Python/Jax编写，目标是在Google Cloud的TPUs和GPUs上进行训练和推理。这个项目在GitHub上公开，充分展示了其强大的功能和优秀的性能。MaxTex...

llamafile项目已经成为Mozilla在GitHub上最受欢迎的项目之一，它为用户提供了一种简单快速的方式，在消费级硬件上运行各种开放的大型语言模型。本文将详细介绍项目的开发过程，以及自v0.1版本以来实施的各种变化。最...

据报道，OpenAI和Meta正在准备推出新一代的人工智能模型，预计将具备更强的推理和规划能力。这些模型被称为GPT-5和Llama 3，目的是向人工通用智能迈进。然而，具体的发布时间线和应用细节尚不明确。鉴于过去AI领域过...

Mistral公司近日发布了一款新型的8x22B模型，并通过磁力链接供用户下载体验。根据社区首批基准测试结果显示，该模型作为基础模型表现突出，其77 MMLU（与推理能力密切相关的指标）得分令人瞩目。这一新模型的出现，...

英特尔公司近日宣布推出新一代Gaudi 3 AI处理器，该处理器在性能上实现了重大突破。据官方数据显示，Gaudi 3在训练性能上提升高达1.7倍，推理性能提升50%，同时在效率上也比英伟达的H100处理器高出40%，而成本却更低...

Visual Autoregressive Models是一个新的GitHub项目，它将图像生成视为逐步预测更高分辨率的过程。该代码库包含了用于下一分辨率预测工作的推理脚本和演示笔记本。虽然训练代码将很快公开，但目前该项目已经引起了技...