Meta在这篇博客文章中概述了用于训练Llama 3的基础设施。它介绍了存储、网络、Pytorch、NCCL等改进。这将为Meta今年其余时间上线的H100s打下基础。

本文介绍了Meta的两个版本的24,576 GPU数据中心规模集群的详细信息。这些集群支持公司当前和下一代AI模型以及GenAI和其他领域的AI研究和开发。Meta的长期愿景是建立一种人工智能，这种人工智能是开放的，建立在可负...

本文介绍了元启发式算法，这是一种强大的工具，可用于改善大型语言模型中的prompt学习。元启发式算法是一组多样化的超过100种离散优化方法，可以大大提高大型语言模型的效率和性能。

Meta的技术路线图一直延伸到2026年，其中之一是开发一种AI推荐模型，以推动公司的Reels短视频服务和更传统的长视频。目前，该公司为其每个产品使用单独的模型。新的推荐系统将为用户提供更有吸引力和相关的内容。Met...

据报道，Meta的Llama团队仍在努力对齐，以使该模型放松并回答更多实际上并不具有争议性的查询。

近日，Meta提出了一种三亿五千万参数的语言模型，其强大的推理能力甚至接近Llama 7B在API函数调用任务中的正确性。该模型尚未发布，但固定参数模型的创新值得探索。

据悉，Meta可能会在今年晚些时候的Meta Connect活动上展示一款增强现实智能眼镜。该设备名为Orion，是一款真正的AR设备。公司内部存在很大压力来制作高质量的演示。公司内部人员现在正在尝试使用先进的原型机进行实...

Meta最近发布了一款名为Pearls的强化学习库，该库已经在拍卖竞标系统、推荐引擎等应用中进行了部署，可以用于研究和部署。Pearls提供了一些在强化学习领域中非常实用的工具，例如，一些用于环境模拟和数据前处理的工...

React Strict DOM旨在改善和标准化Web和原生应用程序的React组件开发。它集成了React DOM和StyleX，以提高React开发的速度和效率，同时不影响性能、可靠性和质量。Meta使用这个工具可以在更多的平台上更快地发布功能...

Meta发布了MMCSG数据集，其中包含数千个通过Aria眼镜记录的双向对话，旨在鼓励在各种社交音频和视觉任务中的研究。