近日，研究人员开发了一种名为Resonance RoPE的新技术，帮助LLMs更好地理解和生成比其原始训练序列更长的文本。这种方法在现有的Rotary Position Embedding（RoPE）系统上进行了改进，提高了模型在长文本上的性能，...

DeepSpeed是微软推出的一个库，可以用来扩大语言模型的预训练。虽然使用起来有些复杂，但它提供了强大的抽象功能。微软最近添加了序列并行性，可以训练具有更长上下文长度的模型。这并不是一个新的突破，而是对开源...

Anthropic最新消息，其Claude模型现已可处理更长上下文标记。这意味着，您的组织可以将完整文档输入模型，语言模型将会对其进行操作。他们举了一个例子，将240页编码文档输入Claude，并让其回答编码问题。目前尚未公...