Poolside AI联合首席执行官Eiso Kant深度分享了其团队如何以精简但高效的研究架构，构建起能够训练118B参数混合专家模型Laguna S的“模型工厂”。Laguna S在实际表现中据称超越了Thinky近1万亿参数的开放权重模型，显...

本文深入探讨了PyTorch在执行和优化神经网络层方面的最新进展，特别是从单个线性操作逐步过渡到融合多层感知机（MLP）的过程。文章详细剖析了如何通过算子融合技术，将多个连续的线性变换和激活函数合并为一个计算核...

近日，一款名为HRM-Text的新型文本生成模型在GitHub上开源，引发了AI社区的广泛关注。该模型基于HRM架构，参数规模为10亿（1B），但其最大的亮点在于惊人的训练效率。据项目介绍，HRM-Text的训练所需的计算资源和数...

最新行业分析指出，尽管OpenAI和Anthropic等前沿大语言模型开发商将持续进行模型训练，但其训练成本的爆炸式增长并非永久态势。当前这些企业因巨额训练投入处于严重亏损状态，但关键转折点在于年度训练支出增速的放...

人工智能基础设施初创公司Upscale AI近日宣布完成超过1亿美元的种子轮融资，本轮由Mayfield和Maverick Silicon联合领投。该公司专注于开发基于开放标准的网络工具套件，旨在解决AI计算中日益严峻的网络瓶颈问题。随...

最新技术基准测试表明，云端分布式训练中基础设施配置对大型语言模型（LLM）训练效率具有决定性影响。专业分析显示，网络架构与存储方案的差异可能导致训练性能出现高达6-7倍的波动，直接关联数百万美元的计算成本。...

最新技术分析揭示了NVIDIA GPU和谷歌TPU在人工智能计算领域的架构本质差异。现代机器学习GPU本质上是由专精于矩阵乘法的计算核心集群与高速内存条构成的异构体系，而TPU则是纯粹为矩阵运算设计的专用加速器，具有成...

Anyscale研究团队近期对TRL、Verl、OpenRLHF等九大开源强化学习框架进行了系统性评测，涵盖采用度指标、系统特性和技术架构三大维度。该研究为开发者选择适合RLHF（人类反馈强化学习）、推理模型或智能体训练场景的...