开源系统OpenLLMetry：基于OpenTelemetry的LLM观测性能分析
talkingdev • 2023-10-12
1350414 views
近日，由一群开发者共同开发的开源系统OpenLLMetry正式发布。OpenLLMetry基于OpenTelemetry，旨在提供对LLMs的观测性能分析。LLMs是轻量级的微服务，可以在边缘设备上运行，OpenLLMetry的发布将为开发人员提供更好的性能分析工具。OpenLLMetry可以通过多种方式进行部署，例如Docker和Kubernetes等。在发布的声明中，开发者表示OpenLLMetry目前处于早期版本，但已经可以进行基本的性能分析。未来，他们将继续努力完善OpenLLMetry的功能。