Vision-RWKV将NLP中的RWKV架构应用于视觉任务，为高分辨率图像处理提供了一个高效的解决方案。RWKV是一种基于注意力机制的架构，它在处理序列数据时表现出色，而Vision-RWKV则将其成功地应用于图像领域。该模型的表...

Reka的创始人、著名GPU评论家Yi Tay在一篇博客文章中概述了他们在谷歌之外训练极强语言模型的经验。主要的挑战来自于集群和硬件的不稳定性，他们还发现软件的成熟度也是一个挑战。尽管如此，他们还是成功地训练出了...

OpenAI回应了Elon Musk的诉讼，并公开了Sam Altman、Ilya Sutskever、Greg Brockman和Elon Musk之间的邮件交流截图。这些截图显示，Musk认为OpenAI的成功率为0％，并同意有必要对某些模型进行闭源处理。

最近，知名机器学习专家Andrej Karpathy提出了一个具有挑战性的任务：从他最近的一段视频中提取摘要并发布博客文章。经过一些数据预处理，Claude 3成功地完成了这项任务，并发布了一篇高质量有趣的博客文章。Claude...

一篇理论论文试图解释MuP超参数转移的成功。其作者发现训练损失Hessian矩阵的最大特征值与网络的宽度和深度无关。

社区对代理在处理各种数字工作负载方面的潜力非常兴奋。然而，即使是最好的通用模型也难以完成人类70%以上成功的任务。显然，我们可能需要专门针对这些任务进行训练的模型。

众所周知，Gemini的惊人1m+代币窗口使用HyperAttention技术取得了如此的成功。这种技术可使计算机通过模拟人类大脑中的注意力机制来聚焦于代币，并识别出其中的关键信息。HyperAttention技术不仅提高了Gemini的精度...

据悉，字节跳动开发了一种名为 MegaScale 的系统，可用于训练大规模并行的大型语言模型。该系统成功地在 12,288 个 GPU 上训练了一个 175B 的语言模型，达到了 55.2% 的模型 FLOPs 利用率，相当惊人。此外，字节跳动...