Lance:现代机器学习数据格式
talkingdev • 2023-06-02
1729558 views
Lance是一种现代的机器学习数据格式。它提供了更快的随机访问、向量索引、数据版本控制等功能。Lance支持pandas、duckdb、polars和pyarrow等工具,可用于构建搜索引擎和特征库、大规模机器学习训练,以及存储、查询和检查深度嵌套的数据。 **核心要点:** - Lance是一种现代机器学习数据格式,具有更快的随机访问、向量索引、数据版本控制等功能。 - Lance兼容pandas、duckdb、polars和pyarrow等工具,可用于构建搜索引擎和特征库、大规模机器学习训练,以及存储、查询和检查深度嵌套的数据。 - Lance的应用场景包括搜索引擎和特征库的构建、大规模机器学习训练,以及深度嵌套数据的存储、查询和检查等。