近日，开源项目BoCoEL在GitHub上发布。BoCoEL是一个用于准确评估LLMs的工具，采用贝叶斯优化方法，能够从大量的LLMs中找到最佳的架构和超参数组合。BoCoEL可以帮助研究者更快地训练出高效的LLMs，提高模型的准确性和...

AdamW通常用于解耦学习率和权重衰减。然而，Pytorch中的常见实现并没有明确地做到这一点。本文讨论了如何调整这些参数。 AdamW是一种优化算法，它在Adam的基础上加入了权重衰减。AdamW的优点之一是可以解决权重衰减...

去年最好的编码模型之一是DeepSeek LLM。它在许多基准测试中接近GPT-3.5（即使它可能是3倍大小）。有关模型训练，令牌计数，模型架构等的信息已在技术报告中发布。DeepSeek LLM是一种基于语言模型的编码器，它使用自...

自监督学习被认为是深度学习最近成功的原因之一。本文探讨了自监督方法和所有需要考虑的各种超参数。以下是文章中的三个核心观点： - 自监督学习是一种强大的技术，可以帮助深度学习更好地发挥其潜力 - 由于不存在...