O que é o Databricks Apps?

Prévia

O Databricks Apps está em visualização pública.

O Databricks Apps permite que os desenvolvedores criem dados seguros e aplicativos de IA na plataforma Databricks e compartilhem esses aplicativos com os usuários.

Anteriormente, a criação de dados e aplicativos de AI que usam dados gerenciados por um Databricks workspace e a análise de dados recurso da plataforma Databricks exigia a implantação de uma infraestrutura separada para hospedar aplicativos, garantindo compliance os controles de governança de dados, gerenciando a segurança dos aplicativos, incluindo autenticação e autorização, e assim por diante. Com o Databricks Apps, o Databricks hospeda seus aplicativos, de modo que o senhor não precisa configurar ou implantar infraestrutura adicional.

Seus aplicativos podem usar o recurso e o recurso da plataforma Databricks, incluindo Unity Catalog para governança, Databricks SQL para consultar dados, IA recurso como servindo modelo, Databricks Jobs para ETL, e as regras de segurança já configuradas no workspace, incluindo as regras que controlam o acesso aos dados usados pelo seu aplicativo. A autenticação e a autorização usam a funcionalidade existente do site Databricks, incluindo OAuth e entidade de serviço.

A Databricks projetou o Databricks Apps para desenvolvedores. O senhor desenvolve seus aplicativos em Python usando qualquer estrutura, como Dash, Streamlit ou Gradio. Como seus aplicativos são portáteis, o senhor pode criá-los e depurá-los localmente, implantá-los em um Databricks workspace e, em seguida, movê-los para outro workspace.

Requisitos

Requisitos do espaço de trabalho

Para implantar e executar aplicativos em seu Databricks workspace, o workspace deve atender aos seguintes requisitos:

  • Você deve garantir que seu firewall não bloqueie o domínio *.databricksapps.com.

  • Seu site Databricks workspace deve estar em uma região compatível. Consulte serverless recurso availability...

Requisitos do ambiente de desenvolvimento

Para criar aplicativos localmente e implantá-los em seu site Databricks workspace, seu ambiente de desenvolvimento deve atender aos seguintes requisitos:

  • Python 3.11 ou acima.

  • A interface de comando-line Databricks (Databricks CLI), versão v0.229.0 ou acima, configurada para acessar seu Databricks workspace. Para instalar ou atualizar e configurar a CLI da Databricks, consulte Instalar ou atualizar a CLI da Databricks e Autenticação para a CLI da Databricks.

  • O SDK da Databricks para Python. O senhor pode instalar o SDK com pip3:

    pip3 install databricks-sdk

    Consulte Databricks SDK para Python.

  • (Opcional) Se o seu aplicativo precisar acessar o Databricks SQL, instale o Databricks SQL Connector for Python. Você pode instalar o conector com pip3:

    pip3 install databricks-sql-connector

Onde posso desenvolver um aplicativo da Databricks?

O senhor pode escrever e testar aplicativos em qualquer IDE que suporte Python, como PyCharm, IntelliJ IDEA ou Visual Studio Code. Databricks recomenda desenvolver seus aplicativos usando o Visual Studio Code e a extensão Databricks para o Visual Studio Code, mas o senhor também pode usar o Databricks Notebook e o editor de arquivos para editar o código diretamente no seu Databricks workspace.

Como faço para desenvolver e implantar um aplicativo Databricks?

Para desenvolver um aplicativo localmente, o fluxo de trabalho típico é o seguinte:

  • Desenvolva seu aplicativo em seu IDE preferido, como o Visual Studio Code.

  • Execute seu aplicativo localmente na linha de comando e acesse view em seu navegador.

  • Quando o código estiver concluído e testado, mova o código e os artefatos necessários para o site Databricks workspace.

Veja Get começar com Databricks Apps.

Para criar um aplicativo na interface do usuário ou usar um exemplo pré-criado, consulte Como criar um aplicativo na interface do usuário do Databricks Apps?

Posso usar frameworks Python com meu aplicativo Databricks?

O senhor pode desenvolver seu aplicativo usando suas estruturas Python favoritas, como Dash, Streamlit ou Gradio. O senhor pode ver exemplos que usam estruturas Python populares na UI do Databricks Apps. Consulte Como faço para criar um aplicativo na interface do usuário de aplicativos da Databricks?

Como o site Databricks Apps gerencia a autorização?

O modelo de autorização dos aplicativos da Databricks inclui o usuário que acessa o aplicativo e uma entidade de serviço da Databricks atribuída ao aplicativo:

  • Para acessar um aplicativo, o usuário deve ter permissões CAN_USE ou CAN_MANAGE no aplicativo. Para saber mais sobre como atribuir permissões a um aplicativo, consulte Configurar permissões para seu aplicativo Databricks.

  • Quando um aplicativo é criado, o Databricks Apps cria automaticamente uma entidade de serviço da Databricks e atribui essa entidade de serviço ao aplicativo. Essa entidade de serviço tem acesso apenas ao site workspace no qual o aplicativo foi criado e é usada para autenticar e autorizar o acesso a recursos no site workspace, como o armazém SQL, o endpoint do modelo de serviço ou objetos seguros no site Unity Catalog. Todo o acesso de um aplicativo a dados ou outros workspace recursos é realizado em nome da entidade de serviço, não do proprietário ou usuário do aplicativo.

    Databricks Os aplicativos concedem automaticamente permissões à entidade de serviço para qualquer recurso atribuído ao aplicativo se o usuário que implantou o aplicativo tiver permissão CAN MANAGE nesses recursos. Se o acesso da entidade de serviço a outros recursos for necessário, por exemplo, tabelas ou arquivos workspace, um administrador do account ou workspace deverá conceder à entidade de serviço acesso a esses recursos. Ao conceder acesso ao recurso, o site Databricks recomenda seguir o princípio do menor privilégio e conceder à entidade de serviço apenas as permissões mínimas necessárias. Consulte gerenciar entidade de serviço.

    O nome da entidade de serviço pode ser encontrado na página de detalhes do aplicativo no cartão Recurso do aplicativo. A entidade de serviço inclui o nome do aplicativo, por exemplo, para um aplicativo chamado my-hello-world-app, o nome da entidade de serviço é app-22ixod my-hello-world-app.

Quem pode criar aplicativos da Databricks?

Qualquer usuário em um workspace pode criar aplicativos. No entanto, para gerenciar as permissões da entidade de serviço atribuída a um aplicativo, o senhor deve ser um administrador do account ou do workspace.

Como faço para configurar meu aplicativo Databricks?

Databricks O Apps define automaticamente diversas variáveis de ambiente que o aplicativo pode acessar, como o host Databricks no qual o aplicativo está sendo executado. Você também pode definir parâmetros personalizados usando um arquivo YAML. Consulte Configuração dos aplicativos Databricks.

Como faço para integrar meu aplicativo Databricks com o serviço Databricks?

Seus aplicativos podem usar recursos da plataforma Databricks, como Databricks SQL para consultar dados, Databricks Jobs para ingestão de dados e processamento, Mosaic AI Model Serving para acessar modelos generativos de IA e Databricks secrets para gerenciar informações confidenciais. Ao configurar seu aplicativo, esses recursos da plataforma Databricks são chamados de recursos.

No entanto, como os aplicativos são projetados para serem portáteis, o site Databricks recomenda que os aplicativos não dependam de recursos específicos. Por exemplo, seu aplicativo não deve ser codificado para usar um determinado SQL warehouse. Em vez disso, configure o SQL warehouse na UI do Databricks Apps ao criar ou atualizar um aplicativo.

Além disso, como os aplicativos são configurados para serem executados com os privilégios mínimos necessários, eles não devem criar novos recursos. Em vez disso, eles precisam contar com a plataforma Databricks para resolver os serviços dependentes existentes. Cada aplicativo tem uma entidade de serviço Databricks atribuída. Durante a criação ou atualização do aplicativo, a entidade de serviço recebe as permissões necessárias nas dependências de recurso definidas.

Para saber mais sobre como adicionar o recurso da plataforma Databricks como recurso de aplicativo, consulte Atribuir o recurso da plataforma Databricks a um aplicativo Databricks .

Onde posso encontrar os logs de auditoria dos meus aplicativos Databricks?

Para encontrar eventos de auditoria para aplicativos, use as tabelas do sistema Databricks. Você pode usar as tabelas do sistema para consultar:

Qual é o custo dos aplicativos da Databricks?

Para obter informações sobre os preços para Databricks Apps, consulte compute for Apps.

O ambiente do sistema Databricks Apps

Observação

Para view o ambiente de um aplicativo específico, incluindo a variável de ambiente e o pacote instalado, acesse Environment tab na página de detalhes do aplicativo. Consulte Exibir os detalhes de um aplicativo Databricks.

A seguir, descrevemos o ambiente do sistema em que seus aplicativos são executados, os recursos disponíveis para o aplicativo e as versões dos aplicativos e da biblioteca instalados.

  • Sistema operacional: Ubuntu 22.04 LTS

  • Python: 3.11.0. A execução de seus aplicativos em um ambiente virtual Python. Todas as dependências são instaladas nesse ambiente virtual, inclusive a biblioteca instalada automaticamente e qualquer biblioteca que o senhor instalar, por exemplo, com um arquivo requirements.txt.

  • Recurso do sistema: seus aplicativos podem usar até duas CPUs virtuais (vCPU) e 6 GB de memória. Seu aplicativo poderá ser reiniciado se exceder o recurso alocado.

Instalado Python biblioteca

Biblioteca

Versão

conector sql databricks-sql

3.4.0

databricks-sdk

0,33,0

malflow-skinny

2.16.2

rádio

4,44,0

simplificado

1.38,0

brilhante

1.1.0

traço

2.18.1

frasco

3.0.3

API rápida

0.115,0

uvicorn [padrão]

0,30,6

unicórnio

23,0,0

dash-ag-grid

31,2,0

componentes do dash-mantine

0,14.4

componentes do dash-bootstrap

1.6.0

Plotly

5.24.1

reamostrador de plotagem

0.10.0

Limitações

  • Há um limite de 10 aplicativos em um Databricks workspace.

  • Os arquivos usados por um aplicativo não podem exceder 10 MB de tamanho. Se um arquivo no diretório do seu aplicativo exceder esse limite, a implantação do aplicativo falhará com um erro.

  • Databricks Os aplicativos não atendem aos padrões HIPAA, PCI ou FedRAMP compliance.

  • Os registros criados por um aplicativo não são mantidos quando o site Databricks compute que hospeda o aplicativo é encerrado. Consulte Registro em log do seu aplicativo Databricks.