MtoM Mag - Le journal de l'MtoM.

Qlik®, un des leaders mondiaux de l’intégration des données, de la qualité des données, de l’analytics et de l’intelligence artificielle (IA), annonce un ensemble de nouvelles fonctionnalités pour les clients de Databricks, la société de données et d’IA, conçues sur la Data Intelligence Platform de Databricks. Ces améliorations incluent le streaming de données en temps réel vers les tables UniForm de Unity Catalog en utilisant la capture des données modifiées (CDC), l’optimisation Apache Iceberg™ automatisée via Qlik Open Lakehouse et la création de data products de qualité.

Ces améliorations offrent aux équipes en charge des données davantage de flexibilité sur l’ensemble des formats ouverts, renforcent la performance opérationnelle avec les données Delta et Iceberg et accélèrent la mise en œuvre d’architectures fiables et prêtes pour l’IA, sans pour autant remettre en cause la gouvernance native sur Databricks ou la performance.

Ces nouvelles fonctionnalités incluent :

 Le streaming de données en temps réel vers des tables UniForm Databricks en utilisant la capture des données modifiées : Qlik Replicate® diffuse désormais des données modifiées capturées en continu depuis les sources de données directement vers des tables Iceberg managées par Unity Catalog. Ainsi, leur ingestion avec une latence réduite favorise le respect strict des accords de niveau de service (SLA) pour les formats Delta et Iceberg.

 Une optimisation Iceberg adaptative : à mesure que les données sont ingérées au sein des tables Apache Iceberg par Qlik Talend Cloud®, l’optimisateur entièrement automatisé de Qlik Open Lakehouse prend intelligemment en charge la compression, la partition et l’élagage des données, réduisant l’empreinte de stockage et accélérant les requêtes. Les tables Iceberg optimisées peuvent faire l’objet d’une requête via Databricks Photon ou tout autre moteur compatible avec Iceberg, tout en bénéficiant d’un temps de latence réduit.

 Des data products de qualité et prêts pour l’IA : les équipes en charge des données sont en mesure de concevoir des data products gouvernés et de déporter le calcul de la qualité des données pour les actifs Databricks, y compris les tables Delta Live. Ainsi, les produits restent fiables, précis et prêts pour les cas d’usage de l’IA.

 Des améliorations de la roadmap Spark-Aware Studio : Qlik présentera prochainement de nouvelles capacités à destination des développeurs, qui incluent l’inférence de schéma, l’import de notebooks Databricks et le débogage natif de Spark. Les équipes pourront alors gérer des pipelines de données gouvernés et en libre-service, directement au sein de leurs workflows Databricks existants.

« Les clients Databricks continuent à repousser les frontières du possible en matière de formats de données ouverts et d’IA, » déclare Ariel Amster, Director, Strategic Technology Partners chez Databricks. « En permettant la capture des données modifiées en temps réel vers les tables UniForm et grâce à l’intégration native avec Mosaic AI, Qlik aide nos clients communs à simplifier et à accélérer l’innovation sur la Data Intelligence Platform de Databricks. »

« Les clients Databricks exigent de bénéficier d’une vitesse, d’une flexibilité et d’une fiabilité supérieures sur l’ensemble de leur patrimoine de données, de l’ingestion des données aux enseignements » commente David Zember, Senior Vice President of Worldwide Channels and Alliances chez Qlik. « Ces nouvelles fonctionnalités permettent aux équipes de mettre davantage à profit leur investissement Databricks, en particulier en ce qui concerne la gouvernance, l’interopérabilité et la préparation pour l’IA. »

Ces nouvelles fonctionnalités, dont la capture de données modifiées vers les tables UniForm et l’optimisation Iceberg, sont désormais disponibles en avant-première. L’intégration de Qlik Open Lakehouse avec Databricks est en cours et une date de disponibilité sera annoncée prochainement.

https://www.qlik.com/