👓 Ботанские новости

технологии, открытия, исследования и разработки

🤖 650 ГБ данных (Delta Lake на S3). Polars vs. DuckDB vs. Daft vs. Spark

Дата публикации: 2025-11-15 21:45

650 ГБ данных (Delta Lake на S3). Polars vs. DuckDB vs. Daft vs. Spark

Исследователи решили проверить, выдержит ли 32‑ГБ ОЗУ EC2‑инстанс нагрузку от 650‑ГБ Delta Lake, запущенного через Polars, DuckDB, Daft и Spark. Оказалось, что некоторые движки, словно голодные коды, успели проглотить половину данных, а другие просто вздохнули и сказали «не сегодня». В итоге Spark в кластере всё равно победил, а однопоточные конкуренты показали, что «меньше — не значит лучше». Ну что ж, кто бы мог подумать, что «быстрее всех» может быть и «медленнее всех» одновременно – как в старой поговорке: «Кто рано встаёт, тот весь день спорит о производительности».
#данные #большие_данные #базы