Pular para o conteúdo principal

Configurações de acesso a dados

Este artigo descreve as configurações de acesso a dados disponíveis para o armazém workspace's SQL.

nota

A Databricks recomenda usar volumes do Unity Catalog ou locais externos para se conectar ao armazenamento de objetos na nuvem. Unity Catalog simplifica a segurança e a governança de seus dados, fornecendo um local central para administrar e auditar o acesso aos dados em vários espaços de trabalho em seu account. Consulte O que é o Unity Catalog? e Recomendações para o uso de locais externos.

important

A alteração dessas configurações reinicia todos os SQL warehouse em execução.

Requisitos​

  • O senhor deve ser um administrador do Databricks workspace para definir essas configurações.

Configurar um serviço do Google Cloud account​

Para configurar todos os depósitos para usar um serviço do Google Cloud account ao acessar Google Cloud Storage (GCS):

  1. No Google Cloud Platform, crie um serviço account que tenha permissões no serviço subjacente do Google Cloud Platform necessárias para acessar seu Google Cloud Storage ativo.

  2. Navegue até a página de configurações do administrador.

  3. Clique na aba Compute .

  4. Clique em Gerenciar ao lado de SQL warehouses .

  5. No campo Google serviço account (Conta de serviço do Google ), digite o endereço email do serviço account cuja identidade será usada para iniciar todos os armazéns SQL.

    Todas as consultas executadas nesses depósitos terão acesso ao serviço subjacente do Google Cloud Platform com o escopo das permissões concedidas a esse serviço account no Google Cloud Platform.

  6. Clique em Salvar .

Configurar propriedades de acesso a dados para o armazém SQL​

  1. Clique no seu nome de usuário na barra superior do workspace e selecione Configurações no menu suspenso.

  2. Clique na aba Compute .

  3. Clique em Gerenciar ao lado de SQL warehouses .

  4. Na caixa de texto Data Access Configuration (Configuração de acesso a dados ), especifique par key-value contendo propriedades de metastore.

important

Para definir uma propriedade de configuração do Spark com o valor de um segredo sem expor o valor do segredo ao Spark, defina o valor como {{secrets/<secret-scope>/<secret-name>}}. Substitua <secret-scope> pelo escopo secreto e <secret-name> pelo nome secreto. O valor deve começar com {{secrets/ and end with }}. Para obter mais informações sobre essa sintaxe, consulte gerenciar segredos.

  1. Clique em Salvar .

O senhor também pode configurar as propriedades de acesso aos dados usando o provedor Databricks Terraform e databricks_sql_global_config.

Propriedades suportadas​

  • Para uma entrada que termina com *, todas as propriedades dentro deste prefixo são compatíveis.

    Por exemplo, spark.sql.hive.metastore.* indica que tanto spark.sql.hive.metastore.jars quanto spark.sql.hive.metastore.version são compatíveis, e quaisquer outras propriedades que comecem com spark.sql.hive.metastore.

  • Para propriedades cujos valores contêm informações confidenciais, o senhor pode armazenar as informações confidenciais em um segredo e definir o valor da propriedade como o nome do segredo usando a seguinte sintaxe: secrets/<secret-scope>/<secret-name>.

As seguintes propriedades são compatíveis com o armazém SQL:

  • spark.databricks.hive.metastore.glueCatalog.enabled

  • spark.sql.hive.metastore.*

  • spark.sql.warehouse.dir

  • spark.hadoop.datanucleus.*

  • spark.hadoop.fs.*

  • spark.hadoop.hive.*

  • spark.hadoop.javax.jdo.option.*

  • spark.hive.*

Para obter mais informações sobre como definir essas propriedades, consulte Hive metastoreexterno.

Última atualização em