本文详细介绍了Lamini公司在AMD GPU上进行大型语言模型训练的技术架构。这包括了他们所使用的调度程序、模型训练技术以及其他相关技术细节。Lamini的技术团队选择了AMD GPU作为硬件加速平台，以优化模型训练的性能和...

Cappy是一款小型模型，专门设计用于接收指令和候选完成，然后为完成度打分，以衡量其完成指令的程度。在这项任务上，Cappy的表现超越了许多更大的模型，这表明它可能作为训练和生成过程中的一个反馈机制。Cappy的成...

人工智能领域的领先企业xAI近日宣布，已将其拥有3140亿参数的Mixture-of-Experts模型——Grok-1的权重和架构公开。Grok-1采用JAX编写，并融入了现代Transformer架构，包括GeGLU、ROPE、三明治范数等先进技术。此次公开...

开源项目pg_hint_plan为开发者提供了一种新的方法，通过在SQL注释中使用提示来调整PostgreSQL的执行计划。在PostgreSQL中，规划器通过成本基优化器估算每个可能的执行计划的成本，并执行成本最低的计划。尽管Postgre...

MoAI是一种新型的大型语言和视觉模型，它通过整合专门的计算机视觉任务的辅助视觉信息来增强当前模型。该模型在 GitHub 上发布，旨在改善自然语言处理和计算机视觉任务之间的互动。MoAI使用了一种新的训练方法，可以...

Nvidia正在停产基于图灵架构的GTX GPU，转向将其游戏显卡品牌全部归为“RTX”系列。这一转变意味着GTX系列正在逐步退出历史舞台，未来游戏显卡将专注于支持射线追踪等先进功能。尽管GT系列可能仍将继续存在，但GTX系列...

Vision-RWKV将NLP中的RWKV架构应用于视觉任务，为高分辨率图像处理提供了一个高效的解决方案。RWKV是一种基于注意力机制的架构，它在处理序列数据时表现出色，而Vision-RWKV则将其成功地应用于图像领域。该模型的表...

稳定扩散 3 通过其新颖的多模态扩散转换器架构，通过文本和图像的分别处理权重，提高了提示理解和排版，优于领先的文本到图像模型，为AI生成的视觉内容带来了进步。

近日，Bun TypeScript框架的新成员ElysiaJS在GitHub上线，该框架注重开发体验，采用端到端的类型安全和统一的类型系统。ElysiaJS采用了一种新型架构，允许开发人员在遵循最佳实践的同时灵活地构建应用程序。此外，El...

UniVS是一种用于视频分割的统一架构，采用新颖的基于提示的方法应对各种分割任务的挑战。通过将提示特征作为查询并引入目标感知的提示交叉注意力层，UniVS消除了启发式的帧间匹配需求，可以无缝适应不同的视频分割场...