Travailler avec des données non structurées

Stockez, gérez et traitez des fichiers non structurés, tels que des documents, des images, des fichiers audio et vidéo, parallèlement aux données structurées dans Unity Catalog.

Get start

Essayez un exemple de bout en bout pour voir comment les éléments s’assemblent.

• • Guide de démarrage rapide des fonctions FILE
  • Créez une table avec une colonne FILE et travaillez avec des fichiers en utilisant les fonctions FILE.
• • Tutoriel sur les données non structurées
  • Stockez, interrogez, traitez et partagez des fichiers non structurés à l’aide des volumes Unity Catalog.

Stocker et référencer des fichiers

Choisissez comment stocker et référencer les fichiers selon que vous y accédez par chemin d’accès ou en tant que valeurs dans une table.

• • Volumes Unity Catalog
  • Gouvernez le stockage des fichiers non tabulaires. upload, organisez et accédez aux fichiers dans un volume par chemin d'accès.
• • Type de fichier
  • Référencez les fichiers et leurs métadonnées en tant que valeurs de premier ordre dans une table, régies par l'accès aux lignes qui les référencent. Pour la définition du type, consultez la référence du type FILE.
• • Source de données binaires
  • Stockez les octets bruts d’un fichier dans une colonne BINARY.
• • Source de données d’image
  • Lire les fichiers image dans un DataFrame.

Traiter les fichiers

Une fois vos fichiers stockés dans Unity Catalog, extrayez le contenu, exécutez du code personnalisé et créez des pipelines.

• • Analyser les documents
  • Extrayez du contenu structuré à partir de documents avec ai_parse_document et d'autres fonctions d'IA.
• • Traiter les fichiers avec des UDF
  • Lisez les métadonnées et les octets des fichiers, et générez de nouveaux fichiers, en utilisant votre propre code dans des UDF.
• • Ingérer des fichiers en tant que références FILE
  • Chargez les fichiers dans des tables en tant que références FILE.
• • Créer un pipeline de fichiers
  • Traitez les fichiers de bout en bout dans un pipeline.
• • Rechercher des fichiers dans un volume
  • Indexez les fichiers dans un volume afin que les utilisateurs et les agents puissent les rechercher.

Gérer les fichiers

Contrôlez qui peut accéder aux fichiers et gérez leur cycle de vie avec Unity Catalog.

• • Contrôle d'accès aux volumes
  • Accordez des privilèges sur les volumes pour contrôler qui peut lire et écrire des fichiers par chemin d’accès.
• • Cycle de vie GÉRÉ PAR FICHIER
  • Laissez Databricks gérer le stockage et le cycle de vie des fichiers référencés par une table.
• • Filtres de ligne sur les colonnes FILE
  • Restreignez l’accès aux fichiers en appliquant des filtres de ligne aux lignes qui les référencent.