使用语言模型构建工具是一种新兴的工程学科，涵盖了高性能计算、GPU编排和监控。在这个领域，LLMs（语言模型）是至关重要的组件，它们可以帮助工程师们开发出更智能、更高效的工具。本文将介绍如何在生产环境中使用L...

DeepEval是一个提供Pythonic方式进行离线评估的工具，专为LLM（语言模型）流水线设计。使用DeepEval，开发者能够在部署到生产环境之前，对其LLM流水线进行深度和全面的评估。这大大降低了生产环境中出现错误的风险，...

HyperDX是一个开源的观测平台，旨在帮助快速解决生产问题。它将日志、指标、跟踪、异常和会话重放集中和关联在一个地方。HyperDX允许用户在没有复杂查询语言的情况下仪表盘高基数事件，并在几个点击中设置警报。该平...

最近发布的GitHub仓库为开发者提供了一份详尽的指南，指导如何构建基于RAG（Retrieval Augmented Generation）的LLM（Language Learning Machine）应用程序。该指南详细介绍了从设计到实施的全过程，包括选择合适的...

LangFuse是一种为LLM（低延迟的消息）应用设计的开源可观察性和分析解决方案。它主要针对生产环境使用，但也有一些用户在本地开发他们的LLM应用时使用。LangFuse的主要目标是提供实时的、深入的、可操作的见解，以帮...

KubeBlocks是一个用于云端和本地的Kubernetes操作工具，用于管理关系型数据库、NoSQL数据库、向量数据库和流式数据库。它专为生产环境设计，集成了常用的数据库引擎，并提供了丰富的管理功能和声明式API，可以在各种...

在生产环境中部署扩散模型一直是一个挑战，因为这些模型难以处理，且计算成本高。但是现在，OneDiffusion的出现旨在使部署和微调变得更易于管理、可扩展且可靠。OneDiffusion是一个开源项目，它的目标是使扩散模型在...

Parea AI是一个开发者工具包，专门用于调试和监控LLM应用。用户可以以版本化的方式实验提示和模型配置。在较大规模上，使用自定义的Python评估指标来评估提示。通过API监控LLM应用，并在仪表板上查看分析数据。Parea...

MiniChain是一款可能是对于原型设计和生产都非常有用的链式工具。该工具巧妙地利用函数装饰器和YAML模板来实现链式操作，强大而高效。例如，你只需要20行代码，就可以编写一个聊天机器人，向量数据库等等。这是一款...

语言模型的性能通常是在一个非常小的筛选数据集上进行评估的。这些数据的分布往往从生产环境中大大简化。使用自我监督评估，您可以使用自己的数据集来评估这些模型。您甚至可以使用从生产环境中流入的数据。