Limitations du connecteur OpenAI

info

Bêta

Cette fonctionnalité est en bêta. Les administrateurs de Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Aperçus . Voir Gérer les prévisualisations Databricks.

Cette page contient des informations sur les limitations connues du connecteur OpenAI géré dans Lakeflow Connect.

Limitations générales des connecteurs outil/solution/technologie/plateforme as a service (SaaS) (outil/solution/technologie/plateforme as a Service)

Les limitations de cette section s’appliquent à tous les connecteurs SaaS dans Lakeflow Connect.

• Lorsque vous exécutez un pipeline planifié, les alertes ne se trigger pas immédiatement. Au lieu de cela, ils Trigger lors de la prochaine exécution de la mise à jour.
• Lorsqu’une table source est supprimée, la table de destination n’est pas automatiquement supprimée. Vous devez supprimer manuellement la table de destination. Ce comportement n’est pas cohérent avec celui des Spark Declarative Pipelines sur Lakeflow.
• Pendant les périodes de maintenance de la source, Databricks pourrait ne pas être en mesure d'accéder à vos données.
• Si un nom de table source est en conflit avec un nom de table de destination existant, la mise à jour du pipeline échoue.
• La prise en charge des pipelines multi-destinations est disponible uniquement via API.
• Vous pouvez éventuellement renommer une table que vous ingérez. Si vous renommez une table dans votre pipeline, celui-ci devient un pipeline API uniquement et vous ne pouvez plus le modifier dans l’interface utilisateur.
• Si vous sélectionnez une colonne après le start d’un pipeline, le connecteur ne remplit pas automatiquement les données pour la nouvelle colonne. Pour ingérer des données historiques, exécutez manuellement un refresh complet sur la table.
• Databricks ne peut pas ingérer deux tables ou plus portant le même nom dans le même pipeline, même si elles proviennent de schémas sources différents.
• Le système source suppose que les colonnes de curseur augmentent de façon monotone.
• Le connecteur ingère des données brutes sans transformations. Utilisez des Spark Declarative Pipelines en aval sur les LakeFlow Pipelines pour les transformations.

Limitations spécifiques au connecteur

Les limitations de cette section s’appliquent au connecteur OpenAI.

• Le connecteur ingère un ensemble fixe de 20 tables à partir de l’API d’administration de l’organisation OpenAI. Il ne rend pas disponibles d’autres ressources OpenAI, telles que les jobs d’affinement, les batchs, les fichiers ou les données d’inférence de modèle.
• La table costs et les tables de sous-ressources du projet (project_users, project_service_accounts, project_api_keys, project_rate_limits et project_certificates) sont uniquement en refresh complète. Le connecteur en recrée des instantanés à chaque mise à jour du pipeline.
• Les tables de sous-ressources de projet ne couvrent que les projets actifs. Le connecteur exclut les projets archivés de ces tables. La table autonome projects inclut les projets archivés.
• Les tables incrémentielles (audit_logs et les tables usage_*) et la table costs ingèrent un historique glissant d'un an lors de la première exécution. Le connecteur n'ingère pas les données d'utilisation, de coût ou d'audit datant de plus d'un an.
• Le SCD de type 2 s’applique aux tables d’entités mutables (users, projects, invites, admin_api_keys, certificates et les tables de sous-ressources project_*), dont les enregistrements changent au fil du temps. Cela ne s’applique pas aux tables audit_logs, usage_* et costs en ajout seul, qui enregistrent des événements immuables et des compartiments quotidiens.