小型羊驼（Tiny Llama）项目旨在为3T代币训练出一个参数为11亿的羊驼2（Llama2）模型。根据扩展规律，这对于计算优化来说无疑是严重的过度训练，但它对于部署优化带来了显著的收益。此次的模型训练打破了传统的优化...

以下是新闻主要内容： - Cerebras-GPT是一种计算优化的语言模型系列，通过利用高效的预训练、扩展和最大更新参数化，展示了先进的预训练和下游目标的训练效率。 - 作为第一个比较计算优化的模型扩展的开放和可重现...