近日，一款安全且私密的大热语言模型——ChatGPT企业版正式上线。该版本不仅在速度上有着显著提升，性能提高了一倍，而且拥有32000字的上下文长度并且无使用限制。更重要的是，ChatGPT企业版在安全性上也有了重大突破...

DeepSpeed是微软推出的一个库，可以用来扩大语言模型的预训练。虽然使用起来有些复杂，但它提供了强大的抽象功能。微软最近添加了序列并行性，可以训练具有更长上下文长度的模型。这并不是一个新的突破，而是对开源...

近期的模型常常在处理复杂的视觉-语言任务上遇到困难，这主要是由于它们在理解混合的图像-文本上下文时存在限制。为了评估这些任务，研究人员引入了I4基准。结果显示，视觉提示生成器的注意力存在缺陷。为了解决这个...

出色的研究员Chip Huyen提出了LLM（语言模型）研究中的十大开放性挑战。首先，幻觉和上下文长度问题在当前讨论中频繁出现。然而，最有趣的可能是多模态、架构改进，以及对GPU的替代方案。目前，有许多聪明的研究人员...

「impel」是一款专为Mac设计的全天候AI伴侣。这款产品理解您屏幕上的内容，无需任何提示，就能自动提供建议、信息和行动。它能够理解和解析用户在屏幕上进行的所有活动，并根据上下文，无需用户主动询问，就能主动提...

在一篇新的研究报告中，研究人员在聊天式提示中通过检索9个演示示例，使用预训练的Llama-2语言模型进行了在上下文中的学习。这种方法并没有改变模型的权重，但它使得与文本达芬奇-003模型相比，赢率增加了7倍，使其...

最近获得2000万美元投资的together公司，已经对Llama 2进行了微调，通过在位置嵌入上进行线性扩展，使其在处理上下文时可以处理高达32k的token。他们在许多有趣的基准测试中进行了测试，但是他们警告说，现代语言模...

该项目介绍了Video-FocalNet，这是一个有效而高效的视频识别系统，它将Transformer和卷积模型的优点合二为一。Video-FocalNet采用了独特的方法，能够有效地分析视频的局部和全局上下文，这使得它在多个大型数据集上...

聚焦变换器是一种有趣的检索策略，它使用对比学习来提高key和value的缓存使用。此方法已被证明可相对稳定地扩展到几十万个标记。然而，目前尚不清楚这种方法在大规模应用中的表现如何，或者是否受到其他长期上下文方...

近日，InternLM在GitHub上公开了一款专为实际场景设计的基础聊天模型。该模型拥有7亿的参数，可广泛应用于各种实际场景，如客户服务、在线咨询等。InternLM的这款模型采用了先进的深度学习技术，能够理解和回应用户...