开源|Snowflake Labs发布pg_lake:让PostgreSQL变身数据湖仓系统
talkingdev • 2025-11-05
4635 views
Snowflake Labs近日推出开源项目pg_lake,通过将Apache Iceberg数据表格式与数据湖文件直接集成到PostgreSQL中,实现了传统关系型数据库向湖仓一体架构的演进。该项目允许用户在PostgreSQL环境中直接创建和修改Iceberg表,并通过标准SQL查询存储在S3等对象存储中的Parquet、CSV等多种数据格式,同时支持将查询结果导出到外部存储系统。其架构采用模块化设计,在PostgreSQL扩展基础上引入pgduck_server组件,利用DuckDB的高性能查询引擎处理外部数据,形成可交互的协同计算体系。这一技术突破显著降低了企业构建统一数据平台的门槛,使PostgreSQL在保持事务处理优势的同时,获得了跨云数据湖的联邦查询能力,为混合数据架构提供了新的实现路径。