Que signifie construire une source unique de vérité ?
Le lakehouse Databricks élimine la nécessité de créer et de synchroniser des copies de données sur plusieurs systèmes en unifiant l’accès et le stockage des données dans un système unique, établissant ainsi le lakehouse comme source unique de vérité (SSOT). La duplication des données entraîne souvent des silos de données, ce qui signifie que différentes équipes au sein d’une organisation peuvent travailler avec des versions des mêmes données qui diffèrent en termes de qualité et d’actualité.
Comment le lakehouse contrôle-t-il les transactions et l'accès aux données ?
Les transactions Delta Lake utilisent des Logs files stockés aux côtés des fichiers de données pour fournir des garanties ACID au niveau de la table. Étant donné que les fichiers de données et les Log files prenant en charge les tables Delta Lake résident ensemble dans le stockage objet cloud, la lecture et l'écriture des données peuvent se produire simultanément sans risque que de nombreuses requêtes n'entraînent une dégradation des performances ou un interblocage pour les charges de travail critiques pour l'entreprise. Cela signifie que les utilisateurs et les applications de l'ensemble de l'environnement de l'entreprise peuvent se connecter à la même copie unique des données pour exécuter diverses charges de travail, tous les observateurs étant assurés de recevoir la version la plus récente des données au moment de l'exécution de leur requête.
Gérer l'accès aux données de production
Unity Catalog fournit une solution centralisée de gouvernance des données qui permet aux data stewards de fournir un contrôle d'accès granulaire aux utilisateurs, aux groupes et aux service principals. Unity Catalog gère les autorisations à l'aide de listes de contrôle d'accès (ACL) qui offrent à la fois flexibilité et spécificité dans la configuration des ressources. Certaines autorisations configurables incluent :
- Accès en lecture seule à une poignée de tables.
- Permissions de création et de modification de table pour une base de données.
- Capacité à lire ou modifier des données dans un emplacement de stockage cloud spécifique.
- Accès à de nombreuses ressources cloud via les informations d'identification de stockage gérées par Unity Catalog.
Pour plus d’informations, consultez Qu’est-ce que Unity Catalog ?.
Utiliser les vues dans le lakehouse
Les vues sur Databricks représentent des queries enregistrées par rapport aux données stockées dans des tables quelque part dans le lakehouse. Alors que les queries qui aboutissent à des tables sont exécutées au moment de l’écriture, les vues exécutent la logique de définition chaque fois qu’une query est exécutée sur une vue. Cela signifie que les vues peuvent fournir un accès à jour aux données provenant de diverses sources, et que le compute n'est utilisé que pour mettre à jour les résultats en fonction des besoins.
Vous pouvez utiliser Unity Catalog pour sécuriser et partager des vues ainsi que d'autres objets de données, permettant aux individus et aux équipes de partager la logique qui sous-tend les décisions commerciales clés au sein de l'organisation.
Pour plus d'information, voir Qu'est-ce qu'une vue ?.
Partager des données avec des collaborateurs
Alors que les ACL dans Unity Catalog couvrent un large éventail de cas d'utilisation pour le partage de données au sein d'une organisation, OpenSharing étend cela en gérant l'accès en lecture seule aux datasets qui peuvent être partagés avec des collaborateurs partout. Les cas d'utilisation pris en charge par Unity Catalog incluent :
- Fournir un accès en temps réel à l'analytique régionale pour les régions isolées des sociétés multinationales.
- Partage de datasets entre entreprises isolées qui existent sous le même parapluie corporatif.
- Fournir un accès sécurisé aux datasets gérés par les clients pour les consommateurs tiers.
Sur Databricks, OpenSharing est intégré à Unity Catalog, mais fait également partie de Delta Lake open source. Pour plus d'informations, consultez Qu'est-ce que OpenSharing ?