Limitações do conector OpenAI

info

Beta

Este recurso está em Beta. Os administradores do Workspace podem controlar o acesso a este recurso na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Esta página contém informações sobre limitações conhecidas do conector gerenciado da OpenAI no Lakeflow Connect.

Limitações gerais de conectores de software como serviço (SaaS)

As limitações nesta seção aplicam-se a todos os conectores SaaS no Lakeflow Connect.

• Quando você faz uma execução de um pipeline programado, os alertas não são acionados imediatamente. Em vez disso, eles são Trigger quando a próxima atualização entra em execução.
• Quando uma tabela de origem é excluída, a tabela de destino não é excluída automaticamente. Você deve excluir a tabela de destino manualmente. Este comportamento não é consistente com o comportamento do Spark Declarative Pipelines no Lakeflow.
• Durante períodos de manutenção da fonte, o Databricks pode não conseguir acessar seus dados.
• Se um nome de tabela de origem entrar em conflito com um nome de tabela de destino existente, a atualização do pipeline falhará.
• O suporte a pipeline de múltiplos destinos é apenas via API.
• Opcionalmente, você pode renomear uma tabela que você ingere. Se você renomear uma tabela em seu pipeline, ele se tornará um pipeline somente de API, e você não poderá mais editar o pipeline na IU.
• Se você selecionar uma coluna após o início de um pipeline, o conector não preencherá automaticamente os dados para a nova coluna. Para ingerir data histórica, execute manualmente um refresh completo na tabela.
• O Databricks não pode ingerir duas ou mais tabelas com o mesmo nome no mesmo pipeline, mesmo que venham de esquemas de origem diferentes.
• O sistema de origem pressupõe que as colunas do cursor sejam crescentes e monótonas.
• O conector ingere dados brutos sem transformações. Use Spark Declarative Pipelines downstream em LakeFlow pipelines para transformações.

Limitações específicas do conector

As limitações nesta seção aplicam-se ao conector OpenAI.

• O conector ingere um conjunto fixo de 20 tabelas da API de administração da organização OpenAI. Ele não disponibiliza outros recursos da OpenAI, como jobs de ajuste fino, lotes, arquivos ou dados de inferência de modelo.
• A tabela costs e as tabelas de sub-recursos do projeto (project_users, project_service_accounts, project_api_keys, project_rate_limits e project_certificates) são apenas de refresh completo. O conector realiza um novo snapshot deles a cada atualização do pipeline.
• As tabelas de sub-recursos do projeto cobrem apenas projetos ativos. O conector exclui projetos arquivados dessas tabelas. A tabela projects independente inclui projetos arquivados.
• As tabelas incrementais (audit_logs e as tabelas usage_*) e a tabela costs ingerem uma história contínua de um ano na primeira execução. O conector não ingere dados de uso, custo ou auditoria com mais de um ano.
• O SCD tipo 2 aplica-se às tabelas de entidades mutáveis (users, projects, invites, admin_api_keys, certificates e as tabelas de sub-recursos project_*), cujos registros mudam ao longo do tempo. Isso não se aplica às tabelas audit_logs, usage_* e costs somente de anexação, que registram eventos imutáveis e buckets diários.