Meta最近发布了一种新型模型，该模型的工作原理与GPT系列的解码器仅Transformer相似，都是一次预测一个令牌。然而，如果你将交错的文本和图像视为令牌，这种模型就可以从文本生成图像，反之亦然。更令人惊奇的是，该...

Anthropic公司在人工智能领域一直走在前列，该公司的目标是构建安全的AI模型，同时在激烈的市场竞争中保持领先地位。Anthropic的执着和努力得到了业界的高度认可，他们的工作被认为是AI末日论的白热化中心。面对日益...

近日，一份粘贴文本公开了GPT-4的详细结构信息。GPT-4的规模比GPT-3大了10倍以上，预计总共拥有1.8万亿参数，跨越了120层。OpenAI使用了混合专家模型以保持成本合理。据估计，训练这个模型的费用约为6300万美元。更...

AI模型包含许多参数，它们在计算机中以十进制数字的形式表示。这些数字的精度决定了它们的准确度和占用的空间大小。如果将精度从32位降低到16位，将会大幅提高运行速度。现在，我们可以将精度降低到4位，从而在一些...

该研究介绍了一种新的技术，专注变压器，这种技术可以帮助AI模型在处理大量数据的情况下，记住并专注于相关的信息。该方法改进了AI如何理解和使用长篇的文本，他们在OpenAI的模型上的测试显示了这一点。专注变压器的...

FlagAI（Fast Large-scale General AI models）是一个快速、易于使用且可扩展的大规模模型工具包。它提供了一整套功能强大的工具和库，用于开发和部署大规模人工智能模型。FlagAI的设计目标是使开发人员能够快速构建...

一项新研究发现，训练AI模型的人员中有很大一部分可能正在将这项工作外包给AI，这引发了人们对这个已经容易出错领域中可能出现更多错误的担忧。

本文讨论了训练人工智能的无形劳动力。这些工人被称为数据标注员，他们负责标注用于训练AI模型的数据。这项工作通常是重复而低薪的，但对于AI的发展至关重要。

AI模型的训练数据质量对于获得良好性能非常重要。在代码模型中，数据去重往往非常重要。对于文本而言，目前尚不清楚它是否同样重要。然而，无论如何，本博客介绍了用于去重文本样式数据的技术。

Meta计划提供免费的商业AI模型，这是一个战略性举措，可能会对其竞争对手Google和OpenAI施加压力。Meta希望通过使AI更易于开发者使用来使其商品化，这可能会使Google和OpenAI难以保持竞争优势。