LLMs from Scratch是学习如何从零开始构建语言模型的一组不完整但有前途的任务。该仓库提供了构建自然语言处理模型所需的基本知识，包括基础数学和机器学习理论，以及一些常见的语言模型架构和实现代码。通过完成这...

HuggingFace最近发布了一种名为WebDataset的数据格式，它可以将多个记录组合在一起。任何具有相同前缀的内容都会被视为同一条记录。这种格式非常适合于流式传输和快速数据加载。WebDataset还可以支持使用并行处理来...

该项目提出了一种新颖的增强Transformer的方法，使用来自不同模态的无关数据，例如使用音频数据来改善图像模型。多模式路径独特地连接了两种不同模态的Transformer，使目标模态能够从另一种模态的优势中受益。

医学视频中的目标分割一直是医学影像处理的难点之一。近日，研究人员提出了一种名为 Vivim 的新型医学视频目标分割框架，该框架通过采用状态空间模型的方法对时空数据进行高效压缩，从而在更短的时间内实现更加准确...

最近，一款基于Phi-2和SigLIP训练的多模态模型Imp v1 3B发布了。该模型在性能上表现极为出色，并且体积小，足以在设备上运行。Imp v1 3B的发布，对于未来的多模态研究和应用具有重要意义。目前，该模型的开源代码已...

OpenAI最近发布了一种名为母娃表示学习的算法，它可以根据需要自适应大小。这种自适应大小的方法被认为是母娃学习方法，该方法可以在各种粒度上学习特征。

谷歌DeepMind开发了一个名为AMIE（Articulate Medical Intelligence Explorer）的AI模型，用于协助医疗保健。AMIE在医学文本和对话上进行训练，将提供医学状况的解释，可能有助于诊断。在一项对比试验中，AMIE的表现...

联邦贸易委员会正在调查大型技术公司对提供云服务给OpenAI和Anthropic等较小的AI公司的投资。FTC已经向这些公司发出了要求提供信息的要求，以了解它们的投资是否阻碍了其他公司的竞争。这些公司已经展示了对开放AI和...