上周，在小型GPU上训练大型模型取得了突破。这个配置展示了如何使用这些技术在消费级硬件上训练Mixtral。

谷歌即将推出的 Pixel 9 将搭载 Tensor G4 芯片，该芯片设计用于更好的散热和电源管理。虽然 G4 提供了适度的性能提升，但 G5 芯片预计将进一步提高 Pixel 10 系列的硬件和软件整合。

Answer AI发布了一款新的FSDP/QLoRA训练工具，可在消费级GPU上训练70B参数模型。该公司开源了代码，并使其易于本地运行或在runpod上运行。

微软将在3月21日的发布会上公布有关Copilot AI，Windows和Surface硬件的消息。虽然微软没有透露任何细节，但外界普遍认为该公司将推出新的Surface设备，并有望展示Copilot AI的最新进展。

Reka的创始人、著名GPU评论家Yi Tay在一篇博客文章中概述了他们在谷歌之外训练极强语言模型的经验。主要的挑战来自于集群和硬件的不稳定性，他们还发现软件的成熟度也是一个挑战。尽管如此，他们还是成功地训练出了...

Alphabet联合创始人谢尔盖·布林退休后回归工作，专注于人工智能，上周末在加利福尼亚州希尔斯伯勒的“AGI之家”与一群人工智能爱好者交流，谈到了人工智能对搜索的影响以及谷歌如何在人工智能不断发展的情况下保持领先...

据悉，字节跳动开发了一种名为 MegaScale 的系统，可用于训练大规模并行的大型语言模型。该系统成功地在 12,288 个 GPU 上训练了一个 175B 的语言模型，达到了 55.2% 的模型 FLOPs 利用率，相当惊人。此外，字节跳动...

据报道，微软正在打造自己的人工智能服务器硬件，以减少对英伟达的依赖。目前，微软在其云计算平台Azure上使用英伟达的GPU加速器来提高人工智能处理速度。不过，为了降低成本和提高灵活性，微软现在正在开发自己的AI...

近期，AI领域的重大进展，特别是谷歌的Gemini提供了超过一百万标记的上下文窗口，以及Groq的硬件使得GPT-3.5模型的响应几乎是即时的，这标志着AI应用迈入了实践时代，同时也凸显了领袖们理解和适应快速演变的AI应用...

脑机接口（BCI）技术的发展使得科学家们可以了解关于大脑的假设，这些假设正在颠覆对大脑解剖学的看法。BCI使科学家们能够记录以前无法访问的许多脑区的单个神经元活动，并允许比传统工具更长的测量时间。人工智能、...