Analytics cross-source
Joindre votre PostgreSQL managé avec vos tables Iceberg dans une seule requête
Plusieurs sources, une seule requête SQL
Lakehouse fédéré
Toutes vos sources, une seule requête SQL.
Supprimez les silos organisationnels
Réunissez vos sources de données dispersées derrière un moteur d'analyse unique. Construit sur Trino et Apache Iceberg, Data Hub fédère votre PostgreSQL managé et vos tables Iceberg posées sur le stockage objet S3 en une seule base requêtable, et s'alimente via les connecteurs Open Data, Google Drive et Email.
Spécifications
- Fédération
- PostgreSQL managé, Iceberg sur S3
- Moteur SQL
- Trino distribué
- Ingestion
- Open Data, Google Drive, Email
- Cross-source
- Jointures multi-sources
- Stockage
- Buckets S3 créés depuis la console
- Médaillon
- Schémas Iceberg bronze, silver, gold
- Dataset Branching
- Roadmap
Cas d'usage
Calcul de KPIs complexes
Analytics avancées sur datasets distribués
Sans pipeline ETL à maintenir
Lakehouse unifié
Open data vers Iceberg, fichiers Google Drive et pièces jointes email vers S3 : les connecteurs alimentent votre lakehouse requêtable
Sans code d'ingestion à écrire
En action
La jointure impossible
Un analyste doit croiser les données clients stockées dans PostgreSQL avec les événements produit stockés en tables Iceberg
- Déclarer le catalogue PostgreSQL managé et le catalogue Iceberg dans le moteur SQL
- Écrire une seule requête SQL qui joint les deux sources
- SELECT * FROM postgres.customers JOIN iceberg.events...
- Lire les résultats sans copier ni déplacer les données
Un croisement multi-sources sans extraction préalable ni copie intermédiaire
Le reporting consolidé
Une équipe finance consolide son reporting mensuel à partir de sa base PostgreSQL et de ses tables Iceberg
- Fédérer la base PostgreSQL managée et le catalogue Iceberg dans le moteur SQL Trino
- Écrire dans l'éditeur SQL une requête qui couvre les deux sources
- Le moteur Trino distribue le calcul sur le cluster
- Sauvegarder la requête et la rejouer à chaque clôture
Un reporting consolidé, interrogeable en SQL, sans pipeline à maintenir
Le lakehouse alimenté depuis la console
Une équipe data alimente son lakehouse avec des jeux de données open data et collecte ses fichiers métier depuis Google Drive et une boîte email
- Créer les buckets S3 du lakehouse et un catalogue Iceberg depuis la console
- Importer une source open data vers une table Iceberg de ce catalogue, en ponctuel ou en quotidien
- Brancher les connecteurs Google Drive et email IMAP pour déposer fichiers et pièces jointes dans les buckets
- Interroger les tables Iceberg en SQL standard depuis l'éditeur de la console
Un lakehouse alimenté depuis la console, sans code d'ingestion à écrire
Propulsé par des standards ouverts
Moteur SQL
Trino
Moteur SQL distribué et stateless. Requêtez vos sources connectées avec du SQL standard, sans déplacer vos données.
Format de table
Apache Iceberg
Format de table open source pour les data lakes : transactions ACID, évolution de schéma, compaction et expiration des snapshots pilotées depuis la console.
Connecteurs
Fédération multi-sources
- PostgreSQL
- Base managée, lecture seule
- Apache Iceberg
- Tables lakehouse
- S3
- Stockage objet, exposé via Iceberg
- MySQL
- Bases relationnelles (à venir)
- MongoDB
- NoSQL (à venir)
- Elasticsearch
- Recherche (à venir)
Connecteurs d'ingestion
- Open Data
- 23 sources publiques, ingestion ponctuelle ou quotidienne vers vos tables Iceberg
- Google Drive
- Synchronisation de fichiers vers vos buckets S3, avec extraction de texte optionnelle
- Pièces jointes d'une boîte IMAP déposées dans vos buckets S3
Open data, fichiers et emails alimentent vos tables Iceberg et vos buckets S3 sans pipeline à écrire. D'autres sources de fédération arrivent bientôt.
Avantages clés
- Requêtez vos sources connectées en SQL standard
- Pas d'ETL requis : analysez sur place
- Calcul distribué, adapté aux gros volumes
- Apache Iceberg pour les transactions ACID
Prêt à unifier vos sources de données ?
Découvrez comment Data Hub peut éliminer vos silos de données.