De overname van DuckLabs door AWS en de toekomst van data-analyse

Deze podcast behandelt een grote tech-overname van eind 2026: de acquisitie van het in Amsterdam gevestigde DuckLabs (het bedrijf achter de populaire open-source database DuckDB) door AWS (de clouddivisie van Amazon).

• Oorsprong van DuckDB:
  • DuckDB begon niet als een commerciële startup uit Silicon Valley, maar als een academisch onderzoeksproject van Hannes Mühleisen en Mark Raasveldt bij het CWI (Centrum Wiskunde & Informatica) in Amsterdam — hetzelfde instituut waar Python werd uitgevonden.
  • Het is ontworpen als een in-process analytische database. Dit betekent dat de database direct binnenin de applicatie (zoals een Python-script) draait in plaats van op een externe server.
  • Dit elimineert netwerkvertraging (latency) en verwerkingstijd (serialization), omdat de applicatie en de database hetzelfde werkgeheugen delen.
  • DuckDB biedt zero-copy operaties en kan direct populaire dataformaten (zoals Pandas DataFrames, Polars, PyArrow, Parquet en CSV) lezen en wegschrijven.
• De "Small Data" Realiteit:
  • Hoewel de tech-industrie jarenlang de nadruk legde op "Big Data" en zware cloud-infrastructuur (zoals Apache Spark), blijkt uit onderzoek dat ruim 90% van alle dagelijkse SQL-queries gaat over datasets kleiner dan 1 terabyte.
  • DuckDB is vanaf de eerste regel code geoptimaliseerd voor deze alledaagse queries via vectorized execution(het verwerken van kolommen data in blokken direct via de CPU-cache), wat analyses razendsnel maakt.
• Waarom AWS DuckLabs Overnam:
  • AI-agenten: AI-systemen gedragen zich iteratief; ze proberen queries uit, bekijken het resultaat en passen het aan. DuckDB is perfect geoptimaliseerd voor dit gedrag zonder netwerkvertraging bij elke query.
  • Transformatie van Amazon S3: AWS wil dat S3 meer wordt dan een passieve opslagplaats. Door DuckDB te integreren met S3 Tables en Apache Iceberg, kan data direct in de cloud worden bevraagd via technieken als predicate pushdown en column pruning, zonder dat hele datasets gedownload hoeven te worden.
  • Directe Integratie in Aurora PostgreSQL: DuckDB is direct ingebouwd in Amazon Aurora PostgreSQL, waardoor ontwikkelaars live transactionele data en historische Parquet-bestanden in S3 in één SQL-query kunnen combineren zonder complexe ETL-pipelines.
• Zorgen vanuit de Open-Source Community:
  • Op platforms zoals Reddit (r/dataengineering) ontstond angst voor enshittification of het beperken van de open-source versie door AWS.
  • De podcast nuanceert dit: AWS heeft de commerciële entiteit (DuckLabs) overgenomen, maar het intellectuele eigendom van DuckDB blijft gratis, open-source (MIT-licentie) en onder toezicht van de onafhankelijke non-profit DuckDB Foundation.
  • AWS verdient aan opslag en rekenkracht (compute), wat ruimte laat voor bedrijven als MotherDuck om enterprise support te leveren.
• Conclusie:
  • De overname markeert een verschuiving in data-analyse: efficiëntie, open formaten en lokale of in-process verwerking krijgen de overhand op zware, dure cloudwarehouses zoals Snowflake of Databricks.