Pular para o conteúdo principal
Última atualização em

Ingerir dados do Anthropic

info

Beta

Esse recurso está em Beta. Administradores do Workspace podem controlar o acesso a este recurso na página **Pré-visualizações**. Consulte Gerenciar prévias do Databricks.

Esta página mostra como criar um pipeline de ingestão gerenciado da Anthropic usando o Lakeflow Connect.

Requisitos​

  • Para criar um pipeline de ingestão, você deve primeiro atender aos seguintes requisitos:

    • Seu workspace deve estar habilitado para o Unity Catalog.

    • O compute serverless deve ser habilitado para o seu workspace. Consulte requisitos de Computação serverless.

    • Para criar uma nova conexão, você deve ter privilégios CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.

      Se o conector suportar a criação de pipeline baseada em IU, um administrador poderá criar a conexão e o pipeline ao mesmo tempo, concluindo os passos desta página. No entanto, se os usuários que criam pipelines usarem a criação de pipelines baseada em API ou forem usuários não administradores, um administrador deve primeiro criar a conexão no Catalog Explorer. Consulte Conectar-se a fontes de ingestão gerenciadas.

    • Para usar uma conexão existente, você deve ter os privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

    • Você deve ter privilégios USE CATALOG no catálogo de destino.

    • É necessário ter privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou privilégios CREATE SCHEMA no catálogo de destino.

  • Para ingerir do Anthropic, você deve primeiro configurar a autenticação do Databricks. Consulte Configurar a autenticação para o Anthropic.

Criar um pipeline de ingestão​

  1. Na barra lateral do Databricks Workspace, clique em Ingestão de Dados .
  2. Na página Adicionar dados , em Conectores do Databricks , clique em Anthropic .
  3. Na página Conexão do assistente de ingestão, selecione a conexão que armazena suas credenciais de acesso do Anthropic. Se você tiver o privilégio CREATE CONNECTION no metastore, poderá clicar em Ícone de mais. Criar conexão para criar uma nova conexão com os detalhes de autenticação em Criar uma conexão do Anthropic.
  4. Clique em Avançar .
  5. Na página Configuração da ingestão , insira um nome exclusivo para o pipeline.
  6. Selecione um catálogo e um esquema para gravar Logs de eventos. Se você tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, você pode clicar em Ícone de mais. Criar esquema no menu suspenso para criar um novo esquema.
  7. Clique em **Criar pipeline e continuar**.
  8. Na página **Source**, selecione as tabelas para ingestão.
  9. Clique em Salvar e continuar .
  10. Na página Destino , selecione um catálogo e um esquema para carregar os dados. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, você pode clicar em Ícone de mais. Criar esquema no menu suspenso para criar um novo esquema.
  11. Clique em Salvar e continuar .
  12. (Opcional) Na página Agendamentos e notificações , clique em Ícone de mais. Criar agendamento . Defina a frequência para refresh as tabelas de destino.
  13. (Opcional) Clique em Ícone de mais. Adicionar notificação para definir notificações por email para sucesso ou falha da operação do pipeline e, em seguida, clique em Salvar e executar pipeline .

Exemplos​

Use estes exemplos para configurar seu pipeline.

Ingerir o esquema inteiro​

O arquivo de definição de pipeline a seguir ingere todas as tabelas do Anthropic compatíveis em um esquema de destino:

YAML
resources:
  pipelines:
    anthropic_pipeline:
      name: anthropic_pipeline
      catalog: 'main'
      target: 'anthropic_data'
      ingestion_definition:
        connection_name: anthropic_connection
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'anthropic_data'

Ingerir tabelas específicas​

Ingerir tabelas individuais do Anthropic. Para obter uma lista completa de tabelas compatíveis, consulte Tabelas de origem compatíveis.

O seguinte arquivo de definição de pipeline ingere tabelas individuais do Anthropic:

YAML
resources:
  pipelines:
    anthropic_pipeline:
      name: anthropic_pipeline
      catalog: 'main'
      target: 'anthropic_data'
      ingestion_definition:
        connection_name: anthropic_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'audit_log_activities'
              destination_catalog: 'main'
              destination_schema: 'anthropic_data'
              destination_table: 'audit_log_activities'
          - table:
              source_schema: 'default'
              source_table: 'organizations'
              destination_catalog: 'main'
              destination_schema: 'anthropic_data'
              destination_table: 'organizations'
          - table:
              source_schema: 'default'
              source_table: 'users'
              destination_catalog: 'main'
              destination_schema: 'anthropic_data'
              destination_table: 'users'
          - table:
              source_schema: 'default'
              source_table: 'chats'
              destination_catalog: 'main'
              destination_schema: 'anthropic_data'
              destination_table: 'chats'

Arquivo de definição de job de Pacotes de Automação Declarativa​

YAML
resources:
  jobs:
    anthropic_job:
      name: anthropic_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: anthropic_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.anthropic_pipeline.id}

Padrões comuns​

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Próximos passos​

Comece, programe e defina alertas em seu pipeline. Consulte Tarefas comuns de manutenção de pipeline.

Recursos adicionais​

Nesta página