本文展示了链式思考（CoT）可以通过'...'代币进行混淆。这需要训练模型，但表明可能无法解读CoT步骤，模型可以隐藏思考过程。链式思考是一种新兴的人工智能技术，通过模拟人类思考过程，提高机器学习模型的决策质量...

微软近日发布了一组用于训练BitNet风格模型的GPU加速内核。这些模型在准确度上没有明显下降的情况下，大大降低了内存消耗。BitNet风格模型是一种新型的深度学习模型，它的特点是使用1.58位的数据表示方法，比传统的3...

Longcontext Alpaca训练技术最近取得了重大突破，通过在H100硬件上使用新的梯度累积卸载技术，成功训练了超过200,000个上下文窗口。这种创新方法使得大规模深度学习模型的训练变得更加高效，显著提高了计算资源的利...

近期，Andrei Karpathy推出了一个名为llm.c的项目，该项目展示了如何使用C和CUDA编程语言来训练大型语言模型（LLM）。这一创新方法避免了对PyTorch等大型深度学习框架的依赖，尤其是其所需的250MB以上的资源。这种训...

Meta的研究团队近日推出了一款新型的优化器，并已在X平台上公开代码及其多种集成方式。这款优化器的独特之处在于它不依赖于学习率（LR）调度，训练过程中无需预先设定总步数。经过实证，该优化器在包括语言模型在内...

YouTube 首席执行官 Neal Mohan 近日表示，使用该平台的视频内容来训练 OpenAI 的 Sora 文本到视频生成器将违反 YouTube 的服务条款。尽管 Neal Mohan 没有直接证据表明此类训练已经发生，但他的声明明确了 YouTube...

OpenAI最近宣布扩大其定制模型计划，通过辅助微调和定制训练模型，帮助企业客户开发适合特定使用场景的生成式AI模型。这一服务的推出，意味着企业可以根据自己的特定需求，获得更加个性化和高效的AI解决方案。生成式...

HuggingFace团队最近展示了如何为语言模型的预训练阶段生成、筛选、合成和扩展大量的合成数据。这一过程不仅涉及数据的生成，还包括对数据进行精心的筛选和过滤，以确保其在模型训练中的有效性和准确性。通过这种方...