最近，知名机器学习专家Andrej Karpathy提出了一个具有挑战性的任务：从他最近的一段视频中提取摘要并发布博客文章。经过一些数据预处理，Claude 3成功地完成了这项任务，并发布了一篇高质量有趣的博客文章。Claude...

一篇理论论文试图解释MuP超参数转移的成功。其作者发现训练损失Hessian矩阵的最大特征值与网络的宽度和深度无关。

社区对代理在处理各种数字工作负载方面的潜力非常兴奋。然而，即使是最好的通用模型也难以完成人类70%以上成功的任务。显然，我们可能需要专门针对这些任务进行训练的模型。

众所周知，Gemini的惊人1m+代币窗口使用HyperAttention技术取得了如此的成功。这种技术可使计算机通过模拟人类大脑中的注意力机制来聚焦于代币，并识别出其中的关键信息。HyperAttention技术不仅提高了Gemini的精度...

据悉，字节跳动开发了一种名为 MegaScale 的系统，可用于训练大规模并行的大型语言模型。该系统成功地在 12,288 个 GPU 上训练了一个 175B 的语言模型，达到了 55.2% 的模型 FLOPs 利用率，相当惊人。此外，字节跳动...

计费系统是复杂的，牵涉到财务、产品、体验、客户支持、客户、法律、合规、销售，有时还有更多。

最近在《自然》杂志上介绍了一种名为FunSearch的方法，它使用大型语言模型在数学和计算机科学中进行新的发现。该方法将创造性的LLM与评估器配对，以产生可验证的解决方案，并在难以解决的cap set 和bin-packing问题...

这篇文章总结了一个开发者三年运营SaaS应用的经验教训。三年来，他们的产品从一个玩具变成了人们付费使用的东西。开发者学会了不再害怕成功，并且在软件发布和内容营销方面冷静下来。他们尝试了用户引导，收效显著，...