descobrimento de dados e colaboração na lakehouse
O Unity Catalog do Databricks foi desenvolvido com o objetivo de auxiliar as organizações a diminuir o tempo necessário para obter insights, permitindo que um público mais amplo de usuários de dados descubra e analise dados em grande escala.Os administradores de dados podem conceder acesso seguro a ativos de dados para equipes diversas de usuários finais no Unity Catalog.Esses usuários podem, em seguida, utilizar uma variedade de idiomas e ferramentas, incluindo SQL e Python, para criar conjuntos de dados derivados, modelos e painéis que podem ser compartilhados entre equipes.
gerenciar permissões em escala
O Unity Catalog fornece aos administradores um local unificado para atribuir permissões para catálogos, bancos de dados, tabelas e exibições a grupos de usuários. Os privilégios e metadados são compartilhados entre workspaces, permitindo que os administradores definam permissões seguras uma vez para grupos sincronizados de provedores de identidade e saibam que os usuários finais têm acesso apenas aos dados apropriados em qualquer workspace do Databricks que eles acessem.
O Unity Catalog também permite que os administradores definam credenciais de armazenamento, uma maneira segura de armazenar e compartilhar permissões na infraestrutura de armazenamento em nuvem. Você pode conceder privilégios sobre esses objetos seguros a usuários avançados dentro da organização para que eles possam definir localizações externas em relação a locais de armazenamento de objetos na nuvem, permitindo que engenheiros de dados realizem autoatendimento para novas cargas de trabalho sem precisar conceder permissões elevadas nas consoles de contas na nuvem.
Descubra os dados na Databricks
Os usuários podem navegar pelos objetos de dados disponíveis no Unity Catalog usando o Catalog Explorer. O Catalog Explorer usa os privilégios configurados pelos administradores do Unity Catalog para garantir que os usuários só consigam ver catálogos, bancos de dados, tabelas e visualizações que tenham permissão para consultar. Quando os usuários encontrarem um dataset de interesse, poderão revisar os nomes e tipos de campos, ler comentários sobre tabelas e campos individuais e visualizar uma amostra dos dados. Os usuários também podem revisar o histórico completo da tabela para entender quando e como os dados foram alterados, e o recurso de linhagem permite que os usuários rastreiem como determinados conjuntos de dados são derivados do trabalho upstream e usados no trabalho downstream.
As credenciais de armazenamento e os locais externos também são exibidos no Catalog Explorer, permitindo que cada usuário compreenda totalmente os privilégios que tem para ler e gravar dados nos locais e recursos disponíveis.
Acelere o tempo de produção com o lakehouse
Databricks suporta cargas de trabalho em SQL, Python, Scala e R, permitindo que usuários com diversos conjuntos de habilidades e formações técnicas aproveitem seus conhecimentos para obter percepções analíticas. O senhor pode usar todos os idiomas suportados pelo site Databricks para definir o trabalho de produção, e o Notebook pode utilizar uma combinação de idiomas. Isso significa que o senhor pode promover consultas escritas por SQL analista de última milha ETL no código de engenharia de dados de produção quase sem esforço. As consultas e as cargas de trabalho definidas por personas em toda a organização utilizam o mesmo conjunto de dados, portanto, não há necessidade de reconciliar nomes de campos ou garantir que os painéis estejam atualizados antes de compartilhar códigos e resultados com outras equipes. Os senhores podem compartilhar com segurança código, Notebook, consultas e painéis, todos alimentados pela mesma infraestrutura de nuvem dimensionável e definidos com base na mesma fonte de dados selecionada.