大多数组织机构没有资源在GPU上运行大型模型，但是有一个强大的开源推动力量在本地运行这些模型。本文探讨了这种推动力量以及LangChain + Ollama集成。 LLN（Local Low Rank Normalization）是一种用于处理基于卷积...

人工智能驱动软件的下一步演变并非聊天机器人，而是利用LLMs来完成实际工作的应用。AI基础设施联盟的此篇电子书全面覆盖了此领域的各个方面，包括Prompt工程、LLM逻辑和推理、主要框架如LlamaIndex、LangChain、Hays...

FastStream是一个Python框架，用于构建与事件流交互的异步服务。该框架旨在简化在异步代码中执行事件流处理的过程。FastStream 提供了一个轻量级且易于使用的API，允许开发人员将事件流处理任务与异步服务相结合。Fa...

OpenLM是一个专为训练最多可达70亿参数的中等规模语言模型设计的库和框架。它的设计理念是注重GPU速度和可修改性。作为收敛性验证，已经有在1.25T标记上训练的模型可供使用。这种新型的框架和库能够更好地满足中等规...

Minum是一款极简实验性Web框架。它具有带有磁盘持久化的内存数据库、服务器端模板、日志和测试框架、HTML解析等功能。 Minum的编译大小只有150千字节，其中包括必需的依赖项在内，生产代码仅有3,757行。

最新版本的Flash Attention在提升模型上下文长度和性能的同时，其速度也得到了极大的提升。目前，Flash Attention正在被HuggingFace生态系统本地化支持的过程中。Flash Attention的升级不仅仅提升了模型的运算速度，...

Haystack，一款在GitHub上拥有10,785颗星的开源项目，提供了快速设计和构建可扩展、API驱动的LLM后端所需的一切工具。此开源框架的主要功能是可以帮助开发人员快速构建出高效且可靠的应用程序。通过使用Haystack，开...

稳定扩散是一种复杂的技术，其可大幅度提高生成质量，而无需进行额外的训练。这是通过巧妙地调整权重和在UNet中扩大残差来实现的。具体的代码将在不久后公布。UNet是一种广泛应用于图像分割的深度学习框架，其独特的...