漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2023-11-13 talkingdev

谷歌完成5万多芯片的最大分布式LLM训练任务

谷歌利用MaxText和Jax训练技术,同时在超过5万个芯片上进行了LLM(语言模型)训练任务,保持了66%以上的利用率,成为了最佳MFU的强有力竞争者。该项目主要基于专有技术,但其中展示了一些有趣的细节,对于其他大规模...

Read More
2023-08-08 talkingdev

计算机科学家Edsger Dijkstra每周工作一天的启示

Edsger Dijkstra在他的职业生涯中提出了分布式和并发计算中的一些重要思想。多年来,Dijkstra逐渐减少了对大学的参与,每周只去校园一天。他似乎与繁忙相反,但他却产出了大量的工作。这一观察提示,忙碌实际上可能...

Read More
  1. Prev Page