DuckDB 2.0 jusqu'à 90x plus rapide : ce qui change pour vous

L'équipe de DuckDB a réécrit le moteur des CTE récursives et annonce jusqu'à 40x sur l'accessibilité de graphes. Une CTE récursive est essentiellement une boucle sur une table, utilisée pour les organigrammes, les arborescences de dossiers, les nomenclatures, les fils de réponses, la traçabilité des données et l'historique git.

L'ancien moteur relisait toute la table à chaque tour pour trouver le niveau suivant : huit niveaux signifiaient huit balayages complets de la table, et des dizaines de milliers de niveaux, des dizaines de milliers de balayages. La version 2.0 lit la table une fois, construit une fois un index sur la colonne parent, et chaque tour ne touche que les lignes qui viennent d'être découvertes.

Le benchmark a parcouru un dépôt généré de 20 000 commits jusqu'à sa racine, avec une accélération rapportée pour les CTE récursives pouvant atteindre 90x. Les hiérarchies peu profondes, comme un organigramme typique à huit niveaux, ne bénéficieront pas beaucoup de ce gain ; les chaînes parent/enfant profondes, oui.

Un conseil pratique issu de l'article : conservez les hiérarchies sous forme d'une seule table parent/enfant avec des ID entiers, et utilisez USING KEY lorsque la récursion doit transporter une valeur comme la profondeur ou le coût.

VARIANT est désormais un type de données de premier ordre dans DuckDB. Le benchmark indique qu'il est 6 fois plus rapide que du JSON stocké sous forme de texte, et le concept clé derrière cela est le shredding.

Le shredding se produit lorsque DuckDB écrit un groupe de lignes sur disque. Il inspecte la colonne JSON, identifie les champs présents dans la plupart des lignes, et vérifie si chacun contient toujours le même type de valeur — event kind toujours du texte, user.id toujours un nombre, props.amount toujours le même type, par exemple. Ces champs réguliers sont stockés nativement plutôt qu'en texte brut.

La conclusion pour quiconque construit des pipelines est que la modélisation compte. L'accélération n'est pas automatique pour du JSON désordonné et irrégulier ; elle provient de données où les mêmes champs et types se répètent d'une ligne à l'autre.

Pour les développeurs en Tunisie et ailleurs qui font de l'analytique sur un ordinateur portable ou une petite instance cloud, le changement des E/S asynchrones est le premier à considérer. Il est activé par défaut, ne nécessite aucune réécriture de requête et réduit le coût d'interrogation des fichiers Parquet stockés sur S3.

Les gains des CTE récursives valent la peine d'être testés si vous parcourez des structures parent/enfant profondes et confiez actuellement ce travail à une base de données de graphes. Les hiérarchies peu profondes ne devraient pas changer beaucoup. VARIANT est la mise à niveau la plus exigeante, car elle récompense les schémas cohérents.

DuckDB 2.0 n'est pas encore totalement publié — l'alpha est disponible et la version stable est attendue cet automne. MotherDuck souligne que tous les chiffres proviennent d'un seul ordinateur portable M5 et d'une connexion internet domestique vers us-east-1, donc les résultats différeront sur votre configuration. La disponibilité et le prix pour la Tunisie n'ont pas été annoncés.