HF实现模型输入数据打包，提高训练效率
talkingdev • 2024-02-14
989684 views
将训练模型中的数据打包是提高训练效率的一种方式，它通过连接示例来实现。如果操作不当，示例之间可能会出现污染，因为注意力机制不知道何时停止。社区发现，使用EOS通常足以解决问题，但仍然可能存在问题。这个仓库提供了在Hugging Face中实现常用模型以正确打包输入数据的方法。打包后的数据可以减少模型的计算量，提高模型的训练效率。
talkingdev • 2024-02-14
989684 views
将训练模型中的数据打包是提高训练效率的一种方式，它通过连接示例来实现。如果操作不当，示例之间可能会出现污染，因为注意力机制不知道何时停止。社区发现，使用EOS通常足以解决问题，但仍然可能存在问题。这个仓库提供了在Hugging Face中实现常用模型以正确打包输入数据的方法。打包后的数据可以减少模型的计算量，提高模型的训练效率。