Configurar o local de armazenamento de resultados do notebook

Os requisitos de privacidade da sua organização podem exigir que o senhor armazene todos os resultados interativos do Notebook no bucket de armazenamento workspace no seu cloud account, em vez do local Databricks-gerenciar plano de controle default onde alguns resultados do Notebook comando são armazenados.

A saída de comando do notebook é armazenada de forma diferente dependendo de como você executa o notebook.

Por padrão, quando você executa um notebook interativamente clicando em Executar no notebook:

  • Se os resultados forem pequenos, eles serão armazenados no plano de controle do Databricks, juntamente com o conteúdo do comando do notebook e os metadados.

  • Os resultados maiores são armazenados no bucket de armazenamento workspace em seu site AWS account. Databricks usa esse bucket para os dados do sistema workspace e o seu workspace's DBFS root. Notebook Os resultados são armazenados na parte de dados do sistema workspace do bucket, que não pode ser acessada pelos usuários. Consulte workspace storage bucket.

Quando o senhor executa um Notebook como um Job, programando-o ou clicando em executar agora na página Jobs, todos os resultados são armazenados no bucket de armazenamento workspace em seu account.

O senhor pode configurar seu workspace para armazenar todos os resultados interativos do Notebook em seu cloud account , independentemente do tamanho do resultado.

Configurar o local de armazenamento para resultados interativos do notebook

O senhor pode configurar seu workspace para armazenar todos os resultados interativos do Notebook em seu AWS account, em vez de no plano de controle. O senhor pode ativar esse recurso usando a página de configurações do administrador ou a API REST. Essa configuração não tem efeito sobre a execução do Notebook como Job, cujos resultados já estão armazenados em seu AWS account por default.

Considere os seguintes pontos:

  • As alterações nesta configuração são efetivas apenas para novos resultados. Os resultados existentes do notebook não são movidos.

  • Alguns metadados sobre os resultados, como nomes de colunas do gráfico, continuam sendo armazenados no plano de controle.

  • Seu provedor de nuvem pode incorrer em custos de armazenamento mais altos.

  • É possível que ocorra maior latência na rede e E/S ao realizar leituras e gravações de resultados.

Armazene todos os resultados do notebook em sua conta usando a página de configurações do administrador

Como administrador do workspace:

  1. Vá para a página de configurações.

  2. Clique em Security tab.

  3. Clique no botão de alternância Store interactive Notebook results in customer account.

Armazene todos os resultados do notebook em sua conta usando a API REST

Para configurar seu workspace para armazenar todos os resultados do notebook em sua conta da AWS usando a API REST:

  • Você deve ser um administrador de workspace.

  • O senhor precisa de um site pessoal access token. As instruções a seguir pressupõem que o senhor tenha configurado um arquivo .netrc com seu access token pessoal para que possa usar a opção -n no curl comando. Veja os artigos referenciados acima para obter detalhes.

Para obter a configuração atual, ligue para o ponto de extremidade GET /workspace-conf e defina keys como storeInteractiveNotebookResultsInCustomerAccount:

curl -n --request GET \
  'https://<databricks-instance>/api/2.0/workspace-conf?keys=storeInteractiveNotebookResultsInCustomerAccount'

Para permitir que seu workspace armazene os resultados do notebook interativo em sua conta do AWS, chame o ponto de extremidade PATCH /workspace-conf e defina storeInteractiveNotebookResultsInCustomerAccount como true no corpo da solicitação:

curl -n --request PATCH \
 'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "true"
}'

Para desativar o recurso, defina o mesmo sinalizador para false:

curl -n --request PATCH \
  'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "false"
}'