论文：苹果应用“Up captioning”技术，加快预训练收敛速度

talkingdev • 2024-02-01

1027655 views

苹果公司在人工智能系统中应用“Up captioning”技术来提高训练时的标签质量。该公司将此技术应用于预训练中，通过将C4重述为问题/答案对、指令等，加快了模型的收敛速度10倍，使模型的样本效率显著提高。但这也会增加重述步骤的成本。