亚马逊开始进入开源LLM领域，推出RoPE微调Mistral 7B模型，支持长文本上下文。该模型可在上下文中扩展至32k个令牌，可用于各种自然语言处理任务，例如问答和文本生成。RoPE是亚马逊开发的一种新的训练技术，可提高大...

据最新消息，Phind模型在编码方面的表现已经超过了目前最强的GPT-4。该模型支持16k上下文编码，在编码速度上也不逊于GPT-3.5。Phind模型是一种基于自然语言处理技术的编码器，可以用于编写各种程序代码。该模型采用...

近日，TabLiB 800B发布，这是目前最大的公开表格数据集，包括了6.27亿张表格和8670亿个上下文信息的令牌。这个数据集的发布旨在鼓励社区构建更好地理解表格数据的大型数据模型。此外，该数据集还包含了来自不同领域...

MemGPT允许开发者创建带有自我编辑记忆的永久聊天机器人。它智能地管理LLMs中的不同记忆层，以有效地提供扩展上下文。MemGPT知道何时将关键信息购买到向量数据库中，以及何时在聊天中检索它，从而实现永久对话。该存...

你的AI应用需要从其他API获取数据，你将如何得到它？大多数开发者都会费力地通过脚本和众多文档页来建立一个两周后就可能出故障的流水线。如果你能在没有API问题的情况下，以10倍的速度构建复杂的自动化工作流，你会...

语言模型的性能往往受到其上下文长度的限制。一般来说，上下文长度的限制主要源于计算硬件和聪明的算法更新。StreamingLLM（Github Repo）提供了一种算法更新，通过将令牌流式传输至注意力机制，理论上可以支持无限...

最新版本的Flash Attention在提升模型上下文长度和性能的同时，其速度也得到了极大的提升。目前，Flash Attention正在被HuggingFace生态系统本地化支持的过程中。Flash Attention的升级不仅仅提升了模型的运算速度，...

稳定扩散是一种复杂的技术，其可大幅度提高生成质量，而无需进行额外的训练。这是通过巧妙地调整权重和在UNet中扩大残差来实现的。具体的代码将在不久后公布。UNet是一种广泛应用于图像分割的深度学习框架，其独特的...