SoftMoE 是一种新的模型架构，它改进了稀疏的混合专家（MoE）模型。通过使用软分配方法，每个专家处理输入令牌的子集，SoftMoE以更低的成本提供了更大的模型容量。在视觉识别任务中，SoftMoE的表现超过了标准的变压...

这项研究引入了一个名为“理性分割”的新AI任务，设计用于根据复杂和隐含的文本指令生成分割掩膜。此研究展示了一个名为LISA（Large-language Instructed Segmentation Assistant）的工具作为展示。LISA结合了大语言模...

Andrej Karpathy 编写了一个受到llama.cpp极大启发的酷炫库，可以用于纯C语言训练和推理新的Llama 2模型。这个库对于那些对底层编程感兴趣的人来说是一个很好的资源（就像他的所有代码一样）。GPT4在编写过程中给予...

近期，一些硅谷的大思考家们辩称，人工智能并不会构成重大风险，因为他们认为道德推理的能力会随着技术能力的提高而提高。然而，一篇最新的论文对这一观点提出了具体的反驳，该论文显示，现代语言模型在进行道德推理...

AI模型包含许多参数，它们在计算机中以十进制数字的形式表示。这些数字的精度决定了它们的准确度和占用的空间大小。如果将精度从32位降低到16位，将会大幅提高运行速度。现在，我们可以将精度降低到4位，从而在一些...

Anthropic公司最近发布了其最新模型Claude 2。Claude 2提供了改进的性能，扩展的响应，并可通过API和beta站点进行访问。Claude 2拥有增强的推理，编码和数学能力，可以处理每个提示中多达100K的令牌，使其能够处理复...

GGML是一个开源库，用于在低资源设备上运行语言模型。最近，团队已经进行了并行推理的MPI（Message Passing Interface）工作。现在，随着这些变化的实施，团队正在努力在树莓派集群上推理llama 65B模型。这一行动可...

谷歌正在梅奥诊所测试其AI工具——Med-PaLM 2，这是一款专为解答医疗信息查询而设计的工具。作为语言模型PaLM 2的一个变种，Med-PaLM 2在推理、达成共识的答案和理解方面展现出了令人鼓舞的结果，尽管在准确性上还存在...

FunQA是一个创新的数据集，旨在测试和提升模型对令人惊喜的视频的理解能力，例如幽默或创意视频片段，推动模型在时间戳定位、视频描述和推理等领域的能力。

这项研究揭示了大型语言模型（LLMs）在处理不同任务时可以胜任，但在概率推理方面存在困难，从而限制了它们的性能。作者提出了一种名为Tart的解决方案 - 一种在通用方式下训练的推理模块，当与任何现有模型结合时，...