漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2026-09-08 talkingdev

Vortex 实现从 S3 到 GPU 的单次拷贝,演示扫描性能较 Parquet 快约 30 倍

在 QCon London 2026 上,SpiralDB 团队展示了 Vortex 如何将压缩列式数据从 S3 直接流式传输到 GPU 内存,全程仅需一次拷贝。相比传统方案先将数据落盘或依赖 CPU 解压,Vortex 的列式布局能够在传输前对数据进行裁...

Read More
2025-10-08 talkingdev

开源|Arc时序数据仓库:原生部署每秒处理189万条记录,DuckDB+Parquet+MinIO强强联合

Basekick Labs团队在GitHub开源的高性能时序数据仓库Arc引发技术社区关注。该项目基于DuckDB列式存储引擎、Parquet文件格式和MinIO对象存储构建,在原生部署环境下实现了每秒189万条记录的写入性能,为物联网、金融...

Read More
2024-12-16 talkingdev

放弃Spark转投DuckDB或Polars?比较分析

随着数据科学的迅猛发展,数据处理框架的选择成为技术决策者的一大挑战。最近,DuckDB和Polars作为新兴的数据框架,引起了业界的关注。DuckDB是一个自诩为'SQLite for Analytics'的嵌入式分析数据库,它以轻量级和高...

Read More
2024-10-15 talkingdev

Vortex:高性能列式文件格式引发关注

Vortex是一种新兴的高性能列式文件格式,旨在提升数据存储和访问效率。其设计理念是通过优化数据结构来加速查询性能,尤其适用于大数据分析和机器学习应用。与传统的行式存储格式相比,列式存储能够更有效地利用内存...

Read More
2024-02-02 talkingdev

Stanchion:SQLite3扩展程序,实现列式存储

Stanchion是一款SQLite 3扩展程序,可以在SQLite中实现列式存储。它将列式存储和数据仓库的所有优势带到了SQLite已经部署的任何地方。相对于行式存储,列式存储在存储和处理指标、日志和事件数据、时间序列数据存储...

Read More