Pular para o conteúdo principal
Última atualização em

Ingerir dados do OpenAI

info

Beta

Este recurso está em Beta. Os administradores do Workspace podem controlar o acesso a este recurso na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Esta página mostra como criar um pipeline de ingestão gerenciado da OpenAI usando o Lakeflow Connect.

Requisitos​

  • Para criar um pipeline de ingestão, primeiro atenda aos seguintes requisitos:

    • Seu workspace deve estar habilitado para o Unity Catalog.

    • O compute serverless deve estar habilitado para seu workspace. Consulte Requisitos de compute serverless.

    • Para criar uma nova conexão, você deve ter privilégios CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.

      Se o conector oferecer suporte à criação de pipeline baseada em IU, um administrador poderá criar a conexão e o pipeline ao mesmo tempo concluindo os passos nesta página. No entanto, se os usuários que criam pipelines usarem a criação de pipeline baseada em API ou forem usuários não administradores, um administrador deverá primeiro criar a conexão no Catalog Explorer. Consulte Conectar-se a fontes de ingestão gerenciadas.

    • Para usar uma conexão existente, você deve ter privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

    • Você deve ter privilégios USE CATALOG no catálogo de destino.

    • Você deve ter os privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou privilégios CREATE SCHEMA no catálogo de destino.

  • Para ingerir da OpenAI, primeiro configure a autenticação do Databricks e crie uma conexão. Veja Configurar autenticação para OpenAI e Criar uma conexão OpenAI.

Criar um pipeline de ingestão​

Para a lista de tabelas de origem suportadas, consulte Tabelas de origem suportadas.

  1. Na barra lateral do workspace do Databricks, clique em Ingestão de dados .
  2. Na página Adicionar dados , em Conectores Databricks , clique em OpenAI .
  3. Na página Conexão do assistente de ingestão, selecione a conexão que armazena suas credenciais da OpenAI. Se você tiver o privilégio CREATE CONNECTION no metastore, clique em Ícone de mais. Criar conexão para criar uma conexão com as credenciais de Configurar autenticação para OpenAI.
  4. Clique em Avançar .
  5. Na página Configuração de ingestão , insira um nome para o pipeline.
  6. Selecione um catálogo e um esquema para gravar logs de eventos. Se você tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Ícone de mais. Criar esquema no menu suspenso para criar um esquema.
  7. Clique em Criar pipeline e continuar .
  8. Na página Source , selecione as tabelas para ingestão.
  9. Clique em Salvar e continuar .
  10. Na página Destination , selecione um catálogo e um esquema para carregar os dados. Se você tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Ícone de mais. Create schema no menu suspenso para criar um esquema.
  11. Clique em Salvar e continuar .
  12. (Opcional) Na página Programações e notificações , clique em Ícone de mais. Programar . Defina a frequência para refresh das tabelas de destino.
  13. (Opcional) Clique em Ícone de mais. Adicionar notificação para definir notificações por email para sucesso ou falha da operação de pipeline e, em seguida, clique em Salvar e iniciar a execução do pipeline .

Exemplos​

O conector OpenAI disponibiliza 20 tabelas de origem no esquema de origem default. Ingira tabelas individuais ou o esquema inteiro.

Ingerir tabelas específicas​

Use esta opção para ingerir um subconjunto específico de tabelas ou para personalizar a nomenclatura de destino por tabela.

O seguinte arquivo de definição de pipeline ingere tabelas individuais da OpenAI:

YAML
resources:
  pipelines:
    openai_pipeline:
      name: openai_pipeline
      catalog: 'main'
      target: 'openai_data'
      ingestion_definition:
        connection_name: openai_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'users'
              destination_catalog: 'main'
              destination_schema: 'openai_data'
              destination_table: 'users'
          - table:
              source_schema: 'default'
              source_table: 'audit_logs'
              destination_catalog: 'main'
              destination_schema: 'openai_data'
              destination_table: 'audit_logs'
          - table:
              source_schema: 'default'
              source_table: 'usage_completions'
              destination_catalog: 'main'
              destination_schema: 'openai_data'
              destination_table: 'usage_completions'

Ingerir o esquema inteiro​

Use esta opção para ingerir todas as tabelas de origem da OpenAI em um único esquema de destino com uma declaração.

O seguinte arquivo de definição de pipeline ingere todas as tabelas da OpenAI compatíveis em um esquema de destino:

YAML
resources:
  pipelines:
    openai_pipeline:
      name: openai_pipeline
      catalog: 'main'
      target: 'openai_data'
      ingestion_definition:
        connection_name: openai_connection
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'openai_data'

Arquivo de definição de job de Pacotes de Automação Declarativa​

O arquivo a seguir é um exemplo de definição de job para uso com Pacotes de Automação Declarativa. O Job entra em execução diariamente.

YAML
resources:
  jobs:
    openai_job:
      name: openai_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: openai_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.openai_pipeline.id}

Padrões comuns​

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Próximos passos​

Comece, programe e defina alertas em seu pipeline. Consulte Tarefas comuns de manutenção de pipeline.

Recursos adicionais​

Nesta página