Contextual团队发布了一种能够同时生成文本和嵌入式编码的模型，名为生成式表征指导调整模型（Generative Representational Instruction Tuning）。该模型在多模态领域表现出色，远远超过了单一专家模型。这种模型的...

Nomic-Embed-Text-V1是一种开源、完全可重现的文本嵌入模型，为短文本和长文本任务树立了新的标杆。在透明度方面独树一帜，Nomic-Embed-Text-V1提供完全访问其训练代码、模型权重和包含2.35亿个文本对的大型数据集的...

BGE-M3项目介绍了一种多功能的嵌入模型，其在多功能性（密集、多向量和稀疏检索）、多语言性（支持100多种语言）和多粒度性（处理从短句子到长达8192个标记的文档输入）方面表现优异。它使用混合检索管道，结合不同...

SliceGPT引入了一种新的后训练稀疏化方案，以减少大型语言模型的资源需求。通过将权重矩阵替换为较小的矩阵并减少嵌入维度，它可以在主要模型（如LLAMA2-70B和OPT 66B）中删除高达25%的模型参数，同时保留高达99%的...

ColBERT是一个出色的模型，用于为RAG应用嵌入查询和索引数据。本文探讨了该方法背后的直觉，并进行了一些基准测试。ColBERT的特点在于，它将查询和文档嵌入到一个共享空间中，从而可以直接在该空间中进行相似性匹配...

LLM Steer是一个用于使用情感向量控制语言模型生成的库。这意味着您可以嵌入一个诸如“深思熟虑”的概念，并使生成变得更加深思熟虑。一般而言，它的效果要比提示更好，但需要进行更多的研究。

嵌入是许多AI用例的基础。由于速率限制，它们可能很昂贵且缓慢。本文介绍了如何使用Modal来有效且正确地扩展嵌入过程。

ColBERT是用于检索的较好的嵌入模型之一。由于许多人正在构建启用RAG的人工智能应用程序，因此值得探索和使用。这个实现是一个简单和直接的复制，没有性能优化和它们所增加的复杂性。它使用HuggingFace的BERT，但实...