Acessar dados do produto em Databricks Marketplace (espaço de trabalho habilitado para o Unity Catalog)

Este artigo descreve como acessar o produto de dados no marketplace do Databricks se você tiver um workspace do Databricks habilitado para o Unity Catalog.

Observação

Se o senhor não tiver um Databricks workspace que esteja habilitado para Unity Catalog, poderá acessar o produto de dados compartilhados marketplace usando conectores de compartilhamento aberto Delta Sharing. Consulte Acessar dados do produto em Databricks Marketplace usando plataformas externas.

Visão geral

O Databricks Marketplace oferece a você, como consumidor de dados, uma plataforma segura para descobrir produtos de dados que sua organização precisa para ter sucesso. O Databricks Marketplace usa Delta Sharing para fornecer segurança e controle sobre dados compartilhados. Os consumidores podem acessar dados públicos, dados de amostra grátis e ofertas de dados comercializados. Os consumidores que usam um workspace Databricks habilitado para Catálogo Unity não estão limitados a acessar dados tabulares, mas também podem acessar volumes (dados não tabulares), modelos de IA, Databricks Notebook e Databricks soluções Accelerators.

Ao consumir o produto de dados marketplace usando um workspace do Databricks habilitado para o Unity Catalog, você pode aproveitar a integração profunda entre o Delta compartilhamento e o Unity Catalog, juntamente com a governança, a auditoria e as interfaces convenientes do Unity Catalog.

Antes de começar

Para procurar listagens de dados de produtos no marketplace Databricks, você pode usar um dos seguintes:

Para consumir dados do produto usando um workspace do Databricks habilitado para o Unity Catalog, você deve ter o seguinte:

Procurar anúncios do Databricks Marketplace

Para encontrar o produto de dados desejado, basta navegar ou fazer uma pesquisa nas listagens de produtos de dados no Databricks Marketplace.

Observação

Como alternativa às instruções a seguir, você pode pesquisar listagens marketplace usando a barra de pesquisa global na parte superior do seu workspace do Databricks. Consulte Procurar objetos workspace . Você também pode view e solicitar dados de amostra grátis na página Adicionar dados . Na barra lateral workspace , clique em ingestão de dados e role para baixo até Free sample data from Databricks Marketplace.

  1. Vá para marketplace.databricks.com ou logs no seu workspace do Databricks e clique em Ícone do Marketplace Mercado.

  2. Navegue ou pesquise o produto de dados desejado.

    Você pode filtrar listagens por tipo de produto (dataset, acelerador de soluções ou modelo de ML), nome do fornecedor, categoria, custo (gratuito ou pago) ou pesquisa por palavra-chave.

    Se você estiver logs em um workspace do Databricks, também poderá optar por view apenas as listagens privadas disponíveis para você como parte de uma troca privada. Consulte Participar de trocas privadas.

Solicite acesso a produtos de dados no Marketplace

Para solicitar acesso aos produtos de dados, você deve estar logado em um workspace do Databricks. Alguns produtos de dados estão disponíveis imediatamente, enquanto outros exigem aprovação do provedor e conclusão da transação usando interfaces do provedor.

Requisitos

Consulte Antes de começar. Para acessar produtos de dados no marketplace, você deve ter pelo menos o privilégio USE MARKETPLACE ASSETS no metastore do Unity Catalog que está anexado ao workspace que você está usando.

Obter acesso a produtos de dados que estão disponíveis instantaneamente

Alguns produtos de dados estão disponíveis instantaneamente, exigindo apenas que você os solicite e concorde com os termos. Estes produtos são listados sob o título Gratuito e instantaneamente disponível na página inicial do Marketplace, são identificados no bloco de listagem como Gratuito e são identificados como Instantaneamente disponível na página de detalhes da listagem.

  1. Quando você encontrar uma listagem de seu interesse na página inicial do Marketplace, clique no anúncio para abrir a página de detalhes do anúncio.

  2. Clique no botão Obter acesso instantâneo e aceite os termos e condições do Databricks.

    O acesso aos aceleradores da Databricks soluções funciona de maneira um pouco diferente. Consulte Obter acesso aos aceleradores da Databricks soluções.

  3. (Opcional) Em Mais opções, modifique o nome do catálogo sugerido.

    O nome do catálogo é exibido no Catalog Explorer em seu workspace do Databricks e é usado no namespace de três partes (catalog.schema.table|volume|view) em query. Você pode alterar o nome default .

  4. Clique no botão Obter acesso instantâneo .

  5. Clique no botão Abrir para view o produto de dados, que aparece como um catálogo somente leitura no Catalog Explorer.

    Para obter informações sobre como gerenciar o acesso a catálogos no Databricks, consulte Acessar o catálogo de uso compartilhado de dados do Unity.

Se houver notebooks de amostra disponíveis, eles aparecerão sob o título Sample Notebook na listagem.

Para acessar view a Notebook, clique no botão Preview Notebook. Para importar um Notebook para o Databricks workspace para que o senhor possa executá-lo, clique em Preview Notebook e, em seguida, clique em Import Notebook. Consulte Introdução ao Databricks Notebook.

Solicitar produtos de dados que exijam aprovação do provedor

Alguns produtos de dados exigem a aprovação do provedor, geralmente porque uma transação comercial está envolvida, ou o provedor pode preferir personalizar produtos de dados para você. Essas listagens são identificadas na página de detalhes da listagem como Por solicitação e incluem um botão Solicitar acesso .

  1. Quando você encontrar uma listagem de seu interesse na página inicial do Marketplace, clique no anúncio para abrir a página de detalhes do anúncio.

  2. Clique no botão Solicitar acesso.

  3. Insira seu nome, empresa e uma breve descrição de como pretende usar este produto de dados.

  4. Aceite os termos e condições do Databricks e clique em Solicitar acesso.

  5. Você será notificado por email quando o provedor concluir a análise de sua solicitação.

    O senhor também pode monitorar o andamento da sua solicitação na página My Requests (Minhas solicitações) em marketplace. Consulte gerenciar dados compartilhados Databricks Marketplace produto. No entanto, todas as transações que se seguirem usarão as plataformas de comunicação e pagamento do provedor. Nenhuma transação comercial é realizada diretamente no Databricks Marketplace.

  6. Quando a transação for concluída, o provedor de dados disponibilizará o produto de dados para você como um catálogo somente leitura em seu workspace.

    Para obter informações sobre como gerenciar o acesso a catálogos no Databricks, consulte Acessar o catálogo de uso compartilhado de dados do Unity.

Obtenha acesso aos aceleradores de soluções Databricks

Diferentemente de outros ativos de dados, os Aceleradores de soluções da Databricks são compartilhados por meio da clonagem de repositórios Git e disponibilizados nas pastas Git da Databricks. Para acessar a solução Accelerator:

  1. No marketplace, clique na listagem soluções Accelerator para abrir a página de detalhes da listagem.

  2. Clique no botão Obter acesso instantâneo .

  3. Na caixa de diálogo Add Git folder (Adicionar pasta Git ), digite um nome para o repositório. Esse nome aparecerá nas UIs das pastas do Databricks Git.

  4. Aceite os termos e condições da Databricks e clique em Create Git folder (Criar pasta Git).

  5. Clique no botão Open (Abrir ) e selecione a pasta Git para view o repo no navegador de arquivos workspace.

Acesse o Catálogo de uso de dados compartilhado do Unity

O acesso aos dados no seu workspace Databricks depende do tipo de produto de dados:

  • marketplace O conjunto de dados e os modelos são compartilhados com o senhor em um catálogo somente leitura em Databricks. Os catálogos são o contêiner de nível superior para dados ativos que são gerenciados por Unity Catalog. Para obter mais informações sobre a hierarquia de objetos de dados em Unity Catalog, consulte Objetos de banco de dados em Databricks.

    Depois que o provedor compartilhar os dados com você, você terá algumas maneiras de acessar o catálogo. As seções a seguir descrevem algumas dessas opções de acesso.

  • Notebook são compartilhados diretamente na listagem marketplace e você pode importá-los da listagem para o seu workspace.

  • As soluções Accelerators são compartilhadas como pastas do Databricks Git. Consulte Obter acesso aos Aceleradores de soluções da Databricks.

Acesse dataset compartilhado no Marketplace

Para acessar dados compartilhados do Marketplace:

  1. Na barra lateral, clique em Ícone do Marketplace Mercado.

  2. Na página inicial do Marketplace, clique em Meus pedidos no canto superior direito.

  3. No produto de dados instalados tab, localize o produto de dados, clique no menu Menu Kebab kebab no final da linha do produto de dados e selecione view data.

    Você também pode clicar no nome do produto de dados para abrir a página de detalhes do produto de dados, onde você pode clicar no botão Abrir para visualizar os dados.

    O Catalog Explorer abre o catálogo que contém o conjunto de dados, onde você pode acessar os dados ou gerenciar o acesso de outros membros da equipe. Consulte Conceder acesso a outros membros da equipe.

    Para saber mais sobre como acessar dados compartilhados em Databricks, consulte Ler dados compartilhados usando Databricks-to-Databricks Delta Sharing (para destinatários).

Acesse dataset compartilhado no Catalog Explorer

Para acessar dados compartilhados diretamente do Catalog Explorer:

  1. Na barra lateral, clique em Ícone de catálogo Catálogo.

  2. Se você souber o nome do catálogo que contém os dados compartilhados, pesquise e selecione.

Se você não souber o nome do catálogo, mas souber o nome do provedor, poderá localizar o catálogo no Catalog Explorer fazendo o seguinte:

  1. Na barra lateral, clique em Ícone de catálogo Catálogo.

  2. No painel esquerdo do Catalog Explorer, clique em Delta compartilhamento e depois em Compartilhado comigo.

  3. Na tab Provedores, clique no nome do provedor.

  4. Na guia Compartilhamentos, localize o nome do catálogo e clique nele para abri-lo.

Acesse dataset compartilhado usando a CLI do Databricks ou instruções SQL

O senhor também pode localizar e acessar o catálogo que contém o uso compartilhado de dados das declarações Databricks CLI ou SQL em uma consulta do Databricks Notebook ou do Databricks SQL editor. Para obter detalhes, consulte Acessar dados em uma tabela ou volume compartilhado. É possível ignorar as seções que descrevem como criar um catálogo, já que o Databricks Marketplace faz isso por você.

Conceda acesso a outros membros da equipe

Se você for o usuário que solicitou os dados compartilhados, você será o proprietário do catálogo que contém esses dados em seu espaço de trabalho. Dessa forma, você pode conceder aos membros da sua equipe acesso ao catálogo e refinar o acesso no nível de esquema, tabela, visualização, linha e coluna, assim como faz com qualquer dado no Catálogo do Unity. Consulte Gerenciar privilégios no catálogo Unity. Desse modo, os dados da tabela e visualização em um catálogo compartilhado são somente para leitura, o que significa que você só pode conceder à sua equipe operações de leitura como DESCRIBE, SHOW e SELECT.

Você também pode transferir a propriedade do catálogo ou dos objetos dentro dele.

Veja exemplos de notebooks

Alguns anúncios incluem exemplos de Notebook na página de detalhes do anúncio. Para acessar o Notebook para ver instantaneamente as listagens disponíveis que foram compartilhadas com o senhor:

  1. Na barra lateral, clique em Ícone do Marketplace Mercado.

  2. Na página inicial do Marketplace, clique em Meus pedidos no canto superior direito.

  3. Em Installed data products (Produtos de dados instalados ) tab, localize o produto de dados e clique no nome do produto de dados para abrir a página de detalhes da listagem. Se houver uma amostra Notebook, ela aparecerá sob o título Sample Notebook na listagem.

  4. Clique em Preview Notebook para view o Notebook e clique em Import Notebook para importá-lo para o Databricks workspace.

Observação

A exibição e a visualização do Notebook de amostra na interface do usuário de listagens não funcionam no modo de navegação anônima do Chrome.

Participe de trocas privadas

Alguns provedores de dados podem querer compartilhar determinados dados com um conjunto limitado de consumidores que são convidados a fazer parte de uma troca privada. você pode encontrar listagens de trocas privadas selecionando a caixa de seleção Private exchange (Troca privada) na página inicial do Marketplace. Assim como nas listagens públicas, você pode acessar instantaneamente as listagens gratuitas ou solicitar acesso parece que forem marcadas como By request (Por solicitação).

Para join uma troca privada, um provedor de dados precisa convidar sua organização. Quando o fizerem, eles solicitarão um identificador compartilhado para o metastore do Unity Catalog. Para saber como obter o identificador de compartilhamento do seu metastore, consulte o passo 1 em Obter acesso no modelo Databricks-to-Databricks .

Para saber mais sobre trocas privadas, consulte Criar e gerenciar trocas privadas no Databricks Marketplace.

Desabilitar o acesso ao Marketplace

Por padrão, todos os usuários em qualquer workspace habilitado para Unity Catalog têm a a opção de solicitar produtos de dados no Databricks Marketplace. Em outras palavras, o grupo account users tem o privilégio USE MARKETPLACE ASSETS em todos os metastore do Unity Catalog, a menos que um administrador do metastore revogue esse privilégio.

Esse privilégio não concede a capacidade de participar em transações financeiras com provedores de dados.Todas as transações financeiras ocorrem fora do Databricks. Esse privilégio concede a capacidade de acessar produtos de dados rotulados como gratuitos e disponíveis instantaneamente e produtos de dados que já foram adquiridos. O acesso a esses produtos de dados cria novos catálogos somente leitura no Databricks que são de propriedade do solicitante, que pode conceder acesso somente leitura a outros usuários.

Um administrador do metastore pode desabilitar a opção de todos os usuários de solicitar produtos de dados no Databricks Marketplace revogando o privilégio USE MARKETPLACE ASSETS do grupo account users no metastore Unity Catalog. Se você revogar esse privilégio, os usuários poderão continuar navegando no Databricks Marketplace em seu workspace, mas não poderão solicitar produtos de dados.

Permissão necessária: administrador do metastore

Observação

Se o seu workspace foi ativado automaticamente para o Unity Catalog, talvez você não tenha um administrador de metastore. Para obter mais informações, consulte Ativação automática do Catálogo Unity.

Para revogar o privilégio USE MARKETPLACE ASSETS do grupo account users :

  1. No seu workspace do Databricks, clique em Ícone de catálogo Catálogo.

  2. Clique no ícone do link próximo ao nome do metastore no canto superior esquerdo.

  3. Encontre a linha que concede a account users o privilégio USE MARKETPLACE ASSETS .

  4. Clique na caixa de seleção ao lado da linha e clique no botão Revogar.

  5. Confirme a ação de revogação.

  6. Conceda o privilégio a quaisquer usuários e grupos específicos de sua preferência clicando no botão Conceder.

Para revogar o privilégio USE MARKETPLACE ASSETS para o grupo account users, execute o seguinte comando em um notebook ou no editor de consultas SQL do Databricks.

REVOKE USE MARKETPLACE ASSETS ON METASTORE FROM `account users`;

Para conceder o privilégio USE MARKETPLACE ASSETS a um usuário ou grupo específico, execute o comando a seguir em um notebook ou no editor de consultas SQL do Databricks.

GRANT USE MARKETPLACE ASSETS ON METASTORE TO `<user-or-group>`;

Se você não quiser que seus usuários consigam view a página inicial marketplace , entre em contato com sua equipe account do Databricks.

Problemas conhecidos

Se uma solicitação de acesso for rejeitada pelo provedor de dados, você não poderá solicitar o mesmo produto de dados novamente. Se você encontrar esse problema, entre em contato com seu provedor ou com a equipe account do Databricks.

Compartilhe seu feedback

Adoraríamos saber o que você pensa sobre Databricks Marketplace.

  • Você gostaria fornecer um feedback? Acesse Saiba mais> fornecer feedback na página inicial do Marketplace.

  • Quer ver conjuntos de dados adicionais no marketplace? Clique em Sugerir um produto no banner da página inicial do Marketplace.