MobileClip是一个快速的文本和图像模型，与OpenAI的原始CLIP模型性能相同，但运行速度提高了7倍。它可以在设备上用于各种视觉和语言任务。

随着人工智能模型的不断发展，越来越多的研究人员开始研究如何在不影响模型准确性的前提下，提高模型的计算效率和内存利用率。LLM量化是一种后训练量化技术，可以使像OPT和LLaMA2这样的大型语言模型更具内存和计算效...

Big Code项目发布了旗舰编码模型的另一个版本StarCoder v2。该模型具有16k上下文窗口，经过4T令牌的训练，性能强劲，但仍然低于DeepSeek编码器。StarCoder v2将在程序员社区和人工智能研究领域引起轰动，标志着Big C...

去年，Mozilla担任了效率挑战的可扩展评估者。它确保参赛者遵守比赛规则并评估模型性能。这篇文章是语言模型评估和竞争性训练方案的良好介绍。本次比赛对推动自然语言处理技术的发展具有重要意义。

知名研究员Nicholas Carlini发布了他用于评估大型语言模型性能的基准。有趣的是，它让GPT-4的表现在大多数其他基准之上。据了解，这个基准是基于多个指标和任务，包括自然语言推理和问答等。

HuggingFace发布了一个轻量级的评估库lighteval，用于基于HELM和Eluther AI评估工具的语言模型训练。该评估库专注于提供高效易用的评估方法和指标，帮助用户快速准确地评估模型性能。同时，lighteval还提供了丰富的...

LoRA是一种低秩适配器，可让您仅微调语言模型中的少量参数。它们可以显着改善和改变这些模型的性能。

针对图像-文本训练中使用的视觉基础模型，研究人员提出了一种名为ViSFT的新方法，以提高其性能。ViSFT使用类似于语言模型中的微调的两阶段过程来增强视觉基础模型。首先，该模型使用大规模的无监督预训练来学习图像...

据悉，最近发布的Stablecode 3B模型表现出色，其强大的性能超过了7B的CodeLlama模型。同时，该模型的尺寸足够小，能够在MacBook上本地运行，无需像7B模型一样需要大量的计算资源。这一模型的发布，标志着技术领域的...

Dolphin被广泛认为是可用性最强的未经审查的开放模型之一。它主要建立在Mixtral上。这个120B的模型是通过合并两个较小的Dolphin模型而制成的。研究发现，与Goliath 120B一起使用这种合并过程可以提高整体模型性能。