Pular para o conteúdo principal
Última atualização em

Ingerir dados do Okta

info

Beta

Este recurso está em Beta. Para usá-lo, um administrador do workspace deve ativar o Lakeflow Connect para Okta na página Prévias . Consulte Gerenciar prévias do Databricks.

Crie um pipeline gerenciado do Lakeflow Connect que ingere dados do Okta em tabelas do Unity Catalog. Use a UI do Databricks, Declarative Automation Bundles ou um notebook do Databricks.

Requisitos​

  • Para criar um pipeline de ingestão, primeiro atenda aos seguintes requisitos:

    • Seu workspace deve estar habilitado para o Unity Catalog.

    • O compute serverless deve estar habilitado para o seu workspace. Consulte Requisitos de compute Serverless.

    • Para criar uma nova conexão, você deve ter privilégios CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.

      Se o conector oferecer suporte à criação de pipeline baseada na interface do usuário, um administrador poderá criar a conexão e o pipeline ao mesmo tempo seguindo os passos nesta página. No entanto, se os usuários que criam pipelines usarem a criação de pipeline baseada em API ou não forem usuários administradores, um administrador deverá criar primeiro a conexão no Catalog Explorer. Consulte Conectar-se a fontes de ingestão gerenciadas.

    • Para usar uma conexão existente, você deve ter privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

    • Você deve ter privilégios USE CATALOG no catálogo de destino.

    • Você deve ter privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou privilégios CREATE SCHEMA no catálogo de destino.

  • Para ingerir do Okta, primeiro configure a autenticação do Databricks e crie uma conexão. Consulte Configurar autenticação para Okta e Criar uma conexão Okta.

Opções de conector​

Para as opções que o conector Okta aceita, seu escopo e as tabelas às quais se aplicam, consulte Opções de conector. Defina opções com escopo de pipeline em source_configurations. Consulte Exemplos para obter informações sobre o uso.

Criar um pipeline de ingestão​

Para obter a lista de tabelas de origem compatíveis, consulte Tabelas de origem compatíveis.

  1. Na barra lateral do workspace do Databricks, clique em Ingestão de Dados .
  2. Na página Adicionar dados , em Conectores do Databricks , clique em Okta .
  3. Na página Conexão do assistente de ingestão, selecione a conexão que armazena suas credenciais do Okta. Se você tiver o privilégio CREATE CONNECTION no metastore, clique em Ícone de mais. Criar conexão para criar uma conexão com as credenciais de Configurar autenticação para Okta.
  4. Clique em Avançar .
  5. Na página Configuração da ingestão , insira um nome para o pipeline.
  6. Selecione um catálogo e um esquema para gravar logs de eventos. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Ícone de mais. Criar esquema no menu suspenso para criar um esquema.
  7. Clique em Criar pipeline e continuar .
  8. Na página Fonte , selecione as tabelas para ingestão.
  9. Clique em Salvar e continuar .
  10. Na página Destino , selecione um catálogo e um esquema para carregar dados. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Ícone de mais. Criar esquema no menu suspenso para criar um esquema.
  11. Clique em Salvar e continuar .
  12. (Opcional) Na página Programações e notificações , clique em Ícone de mais. Criar programar . Defina a frequência para refresh as tabelas de destino.
  13. (Opcional) Clique em Ícone de mais. Adicionar notificação para definir notificações por email para sucesso ou falha na operação do pipeline, depois clique em Salvar e execução pipeline .

Exemplos​

O conector Okta disponibiliza 25 tabelas de origem no esquema de origem default. Ingira tabelas individuais ou as tabelas que você precisa.

Ingerir tabelas específicas​

Use esta opção para ingerir um subconjunto específico de tabelas ou para personalizar a nomenclatura de destino por tabela. A opção start_datetime opcional define até onde a primeira sincronização de cada tabela incremental lê.

O seguinte arquivo de definição de pipeline ingere tabelas Okta individuais:

YAML
resources:
  pipelines:
    okta_pipeline:
      name: okta_pipeline
      catalog: 'main'
      target: 'okta_data'
      ingestion_definition:
        connection_name: okta_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-datetime>'
        objects:
          - table:
              source_schema: 'default'
              source_table: 'users'
              destination_catalog: 'main'
              destination_schema: 'okta_data'
              destination_table: 'users'
          - table:
              source_schema: 'default'
              source_table: 'groups'
              destination_catalog: 'main'
              destination_schema: 'okta_data'
              destination_table: 'groups'
          - table:
              source_schema: 'default'
              source_table: 'group_members'
              destination_catalog: 'main'
              destination_schema: 'okta_data'
              destination_table: 'group_members'

Arquivo de definição de job de Pacotes de Automação Declarativa​

O exemplo a seguir é um arquivo de definição de job para usar com Bundles de Automação Declarativa. O Job é execução diariamente.

YAML
resources:
  jobs:
    okta_job:
      name: okta_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: okta_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.okta_pipeline.id}

Padrões comuns​

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Os passos seguintes​

Comece, programe e defina alertas em seu pipeline. Consulte Tarefas comuns de manutenção de pipeline.

Outros recursos​

Nesta página