Aller au contenu principal
Dernière mise à jour le

Configuration et considérations pour ai_generate_text()

info

Aperçu

Cette fonctionnalité est en aperçu public.

attention

La fonction AI, ai_generate_text() est obsolète. Databricks recommande d'utiliser ai_query avec des modèles externes.

Cet article décrit les éléments à prendre en compte et la configuration à effectuer avant de start à utiliser la fonction ai_generate_text(), en particulier comment récupérer les informations d’identification d’authentification et les stocker de manière sécurisée. Il inclut également des limites de fonctionnalité et des considérations coût-performance.

Qu'est-ce que ai_generate_text()?​

La fonction ai_generate_text() est une fonction Databricks SQL intégrée qui vous permet d'accéder à des modèles de langage volumineux (LLM) directement à partir de SQL. Cette fonction prend actuellement en charge l'accès aux modèles OpenAI et Azure OpenAI, et permet aux clients de les utiliser comme blocs de construction dans les pipelines de données et les charges de travail de Machine Learning. Pour la syntaxe et les modèles de conception, consultez le contenu du manuel linguistique de la ai_generate_text fonction.

Les cas d'utilisation possibles pour ai_generate_text() incluent la traduction, la synthèse, les actions recommandées, l'identification de sujets ou de thèmes, et bien plus encore.

Voici quelques avantages d'utiliser des LLM sur Databricks :

  • Couche d'accès et de gestion unifiée pour les LLM open source et propriétaires.
  • Infrastructure LLM Serverless, auto-évolutive et intégrée aux données.
  • Une simplicité par pointer-cliquer pour personnaliser les LLM en fonction de vos exigences métier et de vos cas d'utilisation.
  • Pour les utilisateurs avancés, des outils pour le développement rapide et la personnalisation des LLM open source.

Exigences​

  • Inscription à la préversion publique des AI Functions. Pour vous inscrire à la prévisualisation publique, remplissez et soumettez le formulaire d'inscription à la prévisualisation publique des AI Functions.
  • Databricks SQL Pro ou Serverless.
  • Comprenez que l’activation et l’utilisation de cette fonctionnalité entraînent la sortie des données de votre environnement SQL et leur transmission à des fournisseurs de modèles LLM tiers : OpenAI et Azure OpenAI.
  • Vous avez accès à Azure OpenAI ou OpenAI.
  • Un modèle GPT 3.5 Turbo déployé.

Détails d'authentification récupérés​

Pour utiliser la fonction ai_generate_text(), vous devez pouvoir accéder à Azure OpenAI ou OpenAI.

Récupérez les détails d’authentification pour Azure OpenAI en suivant les étapes ci-dessous : Vos informations d’authentification renseignent les paramètres resourceName et deploymentName de ai_generate_text().

  1. Accédez à Cognitive Services sur le Portail Azure et sélectionnez Azure OpenAI.
  2. Sélectionnez la ressource que vous souhaitez utiliser.
  3. Sélectionnez Clés et Endpoint sous Gestion des ressources.
  4. Copiez votre clé et le nom de votre ressource.
  5. Sélectionnez Déploiements de modèles sous Gestion des ressources.
  6. Copiez le nom de votre déploiement de modèle.

Pour OpenAI, vous pouvez naviguer vers OpenAI et sélectionner les clés API pour créer votre clé.

remarque

Vous ne pouvez pas copier les clés d'une configuration de clé existante.

Vous pouvez :

  • Récupérez la clé auprès de la personne, également appelée principal, qui a créé la configuration.
  • Créez une nouvelle clé et copiez la clé fournie lors de la création réussie.

Stocker les jetons d’accès​

important

N'incluez pas votre jeton en texte brut dans votre Notebook, votre code ou votre dépôt Git.

Vous pouvez utiliser des secrets Databricks pour stocker vos jetons d'API. Utilisez l'Databricks CLI ou l'API Secrets 2.0 pour créer vos secrets. Les étapes de l’exemple suivant utilisent le Secrets CLI :

  1. Si vous n'avez pas déjà de Secret Scope pour stocker vos clés OpenAI, créez-en un :

    databricks secrets create-scope openai

  2. Vous devez accorder des autorisations de LECTURE ou supérieures aux utilisateurs ou groupes autorisés à se connecter à OpenAI. Databricks recommande de créer un groupe openai-users et d'ajouter les utilisateurs autorisés à ce groupe.

    databricks secrets put-acl openai openai-users READ

  3. Créez un secret pour votre jeton d'accès API. Databricks recommande le format <resource-name>-key:

    databricks secrets put-secret openai demo-key --string-value yourkey123

Limitations​

  • ai_generate_text() n’est pas pris en charge dans les clusters interactifs ou de jobs.
  • Les seuls modèles pris en charge en préversion sont openai/gpt-3.5-turbo et azure_openai/gpt-35-turbo.
  • La limite de jetons pour openai/gpt-3.5-turbo et azure_openai/gpt-35-turbo est de 4096 jetons.

Considérations sur les coûts et les performances​

  • Les services OpenAI et Azure OpenAI nécessitent des abonnements et facturent séparément de Databricks.

  • Dans une query donnée, les appels aux APIs LLM sont effectués séquentiellement pour la ou les colonnes sur lesquelles les fonctions sont appelées.

    • Comparées à la plupart des fonctions SQL, les requêtes utilisant ai_generate_text() ont tendance à s'exécuter plus lentement.

  • Le temps de réponse d'une query qui invoque des AI Functions dépend de la tâche spécifiée dans le prompt, ainsi que du nombre de jetons fournis et demandés.

  • Le service Azure OpenAI est uniquement disponible dans un petit nombre de régions Azure au moment de cette préversion.

Ressources supplémentaires​

Consultez la documentation du manuel linguistique pour la syntaxe et les modèles de conception de la fonction ai_generate_text.

Consultez Analyser les avis des clients avec ai_generate_text() et OpenAI pour un exemple d'utilisation de ai_generate_text() dans un scénario commercial.

Sur cette page