Dual Chunk Attention（DCA）扩展了大型语言模型（如Llama2 70B）的能力，使它们能够处理超过100k个令牌而无需额外的训练。它将注意力计算分解成块，增强了模型对短期和长期上下文的理解。

该项目引入了回声嵌入，这是一种新的策略，通过将未来令牌信息纳入其中，克服了自回归模型的一个关键限制。这是通过将输入重复两次来实现的，这显著提高了基准任务的性能，同时与其他嵌入增强方法兼容。

据悉，Meta可能会在今年晚些时候的Meta Connect活动上展示一款增强现实智能眼镜。该设备名为Orion，是一款真正的AR设备。公司内部存在很大压力来制作高质量的演示。公司内部人员现在正在尝试使用先进的原型机进行实...

向量搜索公司Marqo在由Lightspeed领导的A轮融资中筹集了1250万美元，以推进其下一代向量搜索平台的采用。Marqo的平台解锁了非结构化数据的巨大价值，覆盖了包括最终用户搜索、检索增强生成等关键企业应用，帮助企业...

CrewAI提供了一个库，用于构建和编排利用LangChain和Replit的AI代理。它提供了一个模块化的设置，包括代理、任务、工具和团队，可轻松集成到各种项目中。通过LangSmith简化调试，增强了对非确定性LLM调用的性能洞察...

近日，GitHub推出了一项新的方法，可以增强OpenFlamingo和LLaVA等多模型模型对视觉对抗攻击的防御能力。该方法通过无监督地微调CLIP视觉编码器，有效地保护这些模型免受恶意图像攻击，提高了它们在现实应用中的可靠...

Google最近推出了一种新的文本到视频模型Lumiere，该模型可以将图像和风格作为输入，并使用一种新颖的“空时UNet”同时扩散所有内容。该模型采用了深度学习技术，可以将文本内容转换为相对应的视频，并且不需要任何人...

Llmware是一个统一的框架，用于开发基于LLM的应用程序模式，包括检索增强生成。它提供了一个通用的API，使得开发人员能够轻松地使用不同的LLM模型和数据集。Llmware还为开发人员提供了一组可自定义的工具，用于自动...