Conector OpenAI

info

Beta

Este recurso está em Beta. Os administradores do Workspace podem controlar o acesso a este recurso na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

O conector gerenciado da OpenAI no Lakeflow Connect ingere dados de administração da organização, como usuários, projetos, key de API, uso, custos e logs de auditoria, da OpenAI para o Databricks.

Disponibilidade de recursos

Recurso	Disponibilidade
Criação de pipeline baseada em interface do usuário	Suportado
Criação de pipeline baseada em API	Suportado
Pacotes de Automação Declarativa	Suportado
Ingestão incremental	Suportado
Governança do Unity Catalog	Suportado
Orquestração usando o Databricks Workflows	Suportado
Seleção e desmarcação de colunas baseadas em API	Suportado
Filtragem de linha baseada em API	Não suportado
SCD tipo 2	Suportado Aplica-se às tabelas de entidades mutáveis. As tabelas audit_logs, usage_* e costs somente de anexo registram eventos imutáveis e buckets diários.
Evolução automatizada do esquema: colunas novas e excluídas	Suportado
Evolução do esquema automatizada: alterações de tipo de dados	Não suportado
Evolução automatizada do esquema: renomeação de colunas	Não suportado Requer um refresh completo.

Recurso	Disponibilidade
Criação de pipeline baseada em interface do usuário	Suportado
Criação de pipeline baseada em API	Suportado
Pacotes de Automação Declarativa	Suportado
Ingestão incremental	Suportado
Governança do Unity Catalog	Suportado
Orquestração usando o Databricks Workflows	Suportado
Seleção e desmarcação de colunas baseadas em API	Suportado
Filtragem de linha baseada em API	Não suportado
SCD tipo 2	Suportado Aplica-se às tabelas de entidades mutáveis. As tabelas audit_logs, usage_* e costs somente de anexo registram eventos imutáveis e buckets diários.
Evolução automatizada do esquema: colunas novas e excluídas	Suportado
Evolução do esquema automatizada: alterações de tipo de dados	Não suportado
Evolução automatizada do esquema: renomeação de colunas	Não suportado Requer um refresh completo.

Métodos de autenticação

Método de autenticação	Disponibilidade
OAuth U2M	Não suportado
OAuth M2M	Não suportado
Autenticação básica (nome de usuário/senha)	Não suportado
Autenticação básica (API key)	Suportado key de API de administrador da OpenAI.

Método de autenticação	Disponibilidade
OAuth U2M	Não suportado
OAuth M2M	Não suportado
Autenticação básica (nome de usuário/senha)	Não suportado
Autenticação básica (API key)	Suportado key de API de administrador da OpenAI.

O que saber antes de começar

tópico	Por que é importante
Persona do usuário do Databricks	O fluxo de trabalho depende da sua persona de usuário do Databricks: Usuário único: um usuário administrador cria uma conexão do Unity Catalog e um pipeline de ingestão. Multiusuário: um usuário administrador cria uma conexão para que usuários não administradores criem pipelines.
Método de autenticação	Os passos para criar uma conexão dependem do método de autenticação que você escolher.
Interface	Os passos para criar um pipeline dependem da interface.
Frequência de ingestão	A programação do pipeline depende dos seus requisitos de latência e custo.
Padrões comuns	Dependendo das suas necessidades de ingestão, o pipeline pode usar configurações como acompanhamento de história, seleção de colunas e filtragem de linha. As configurações suportadas variam de acordo com o conector. Consulte Disponibilidade de recurso.

tópico	Por que é importante
Persona do usuário do Databricks	O fluxo de trabalho depende da sua persona de usuário do Databricks: Usuário único: um usuário administrador cria uma conexão do Unity Catalog e um pipeline de ingestão. Multiusuário: um usuário administrador cria uma conexão para que usuários não administradores criem pipelines.
Método de autenticação	Os passos para criar uma conexão dependem do método de autenticação que você escolher.
Interface	Os passos para criar um pipeline dependem da interface.
Frequência de ingestão	A programação do pipeline depende dos seus requisitos de latência e custo.
Padrões comuns	Dependendo das suas necessidades de ingestão, o pipeline pode usar configurações como acompanhamento de história, seleção de colunas e filtragem de linha. As configurações suportadas variam de acordo com o conector. Consulte Disponibilidade de recurso.

Ingerir do OpenAI em 3 os passos

1. Configurar OpenAI para ingestão (Administradores) — Configure a OpenAI para autenticar com o Databricks.
2. Criar uma conexão do Unity Catalog (Administradores) — Crie uma conexão no Catalog Explorer para armazenar credenciais para o Databricks autenticar com a OpenAI.
3. Criar um pipeline de ingestão (Administradores ou não administradores) — Selecione qualquer interface compatível e crie um pipeline a partir de uma conexão existente.