descobrimento de dados e colaboração na lakehouse
O Unity Catalog do Databricks foi desenvolvido com o objetivo de auxiliar as organizações a diminuir o tempo necessário para obter insights, permitindo que um público mais amplo de usuários de dados descubra e analise dados em grande escala.Os administradores de dados podem conceder acesso seguro a ativos de dados para equipes diversas de usuários finais no Unity Catalog.Esses usuários podem, em seguida, utilizar uma variedade de idiomas e ferramentas, incluindo SQL e Python, para criar conjuntos de dados derivados, modelos e painéis que podem ser compartilhados entre equipes.
gerenciar permissões em escala
O Unity Catalog fornece aos administradores um local unificado para atribuir permissões para catálogos, bancos de dados, tabelas e exibições a grupos de usuários. Os privilégios e metadados são compartilhados entre workspaces, permitindo que os administradores definam permissões seguras uma vez para grupos sincronizados de provedores de identidade e saibam que os usuários finais têm acesso apenas aos dados apropriados em qualquer workspace do Databricks que eles acessem.
O Unity Catalog também permite que os administradores definam credenciais de armazenamento, uma maneira segura de armazenar e compartilhar permissões na infraestrutura de armazenamento em nuvem. Você pode conceder privilégios sobre esses objetos seguros a usuários avançados dentro da organização para que eles possam definir localizações externas em relação a locais de armazenamento de objetos na nuvem, permitindo que engenheiros de dados realizem autoatendimento para novas cargas de trabalho sem precisar conceder permissões elevadas nas consoles de contas na nuvem.
Descubra os dados na Databricks
Os usuários podem navegar pelos objetos de dados disponíveis no Unity Catalog usando o Catalog Explorer. O Catalog Explorer usa os privilégios configurados pelos administradores do Unity Catalog para garantir que os usuários só consigam ver catálogos, bancos de dados, tabelas e visualizações que tenham permissão para consultar. Quando os usuários encontrarem um dataset de interesse, poderão revisar os nomes e tipos de campos, ler comentários sobre tabelas e campos individuais e visualizar uma amostra dos dados. Os usuários também podem revisar o histórico completo da tabela para entender quando e como os dados foram alterados, e o recurso de linhagem permite que os usuários rastreiem como determinados conjuntos de dados são derivados do trabalho upstream e usados no trabalho downstream.
As credenciais de armazenamento e os locais externos também são exibidos no Catalog Explorer, permitindo que cada usuário compreenda totalmente os privilégios que tem para ler e gravar dados nos locais e recursos disponíveis.
Acelere o tempo de produção com o lakehouse
O Databricks oferece suporte a cargas de trabalho em SQL, Python, Scala e R, permitindo que usuários com conjuntos variados de habilidades e formações técnicas aproveitem seus conhecimentos para obter insights analíticos.Você pode usar todos os idiomas suportados pelo Databricks para definir trabalhos de produção, e os notebooks podem utilizar uma combinação de linguagens. Isso significa que você pode promover consultas escritas por analistas de SQL para ETL de última milha no código de engenharia de dados de produção quase sem esforço. As consultas e cargas de trabalho definidas por personas em toda a organização aproveitam os mesmos conjuntos de dados, portanto, não há necessidade de reconciliar nomes de campos ou garantir que os painéis estejam atualizados antes de compartilhar códigos e resultados com outras equipes. Você pode compartilhar com segurança código, cadernos, consultas e painéis, todos impulsionados pela mesma infraestrutura em nuvem escalável e definidos em relação às mesmas fontes de dados curadas.