人工智能领域的领先企业xAI近日宣布，已将其拥有3140亿参数的Mixture-of-Experts模型——Grok-1的权重和架构公开。Grok-1采用JAX编写，并融入了现代Transformer架构，包括GeGLU、ROPE、三明治范数等先进技术。此次公开...

Monte Carlo Tree Search (MCTS)是一种先进的搜索算法。它被用于AlphaGo中，研究人员现在正在努力将其与语言模型集成。MCTS的实现一直以来都非常棘手，但是Jax的出现使得它变得更为容易。现在，开发者们可以在GitHub...

本文介绍如何从PyTorch转向Jax。文章提出了9个简明扼要的概念，这些概念使Jax强大而不同，每个概念都附有一个很好的代码示例。

在机器学习中，形状错误是一种难以调试的问题，通常只有在运行模型时才能发现。通过将形状检查作为类型，您可以消除大部分这种挑战，并更快地开发。Jaxtyping 是一个库，它使用 JAX 的类型系统来提供形状检查，从而...

谷歌利用MaxText和Jax训练技术，同时在超过5万个芯片上进行了LLM（语言模型）训练任务，保持了66%以上的利用率，成为了最佳MFU的强有力竞争者。该项目主要基于专有技术，但其中展示了一些有趣的细节，对于其他大规模...

Waymo近日推出了全新的自动驾驶仿真器 Waymax 以评估代理在自动驾驶任务中的表现。该仿真器完全采用 Jax 编写。

SDXL是一种最先进的图像生成模型，虽然强大，但运行速度较慢。然而，Google与HuggingFace最近在Google的研究语言Jax中展示了它在新型TPU芯片上的运行速度。通过这种新的硬件加速，SDXL的性能得到了极大的提升，可以...

DeepMind最近推出了一款名为SynJax的新工具，该工具被设计为处理结构概率分布，如树、序列、分割、对齐等对象上的概率。SynJax的出现，无疑为我们在处理这类问题上提供了更多的便利。该工具不仅包含了许多实用的工具...