Travailler avec des données non structurées
Stockez, gérez et traitez des fichiers non structurés, tels que des documents, des images, des fichiers audio et vidéo, parallèlement aux données structurées dans Unity Catalog.
Stocker et référencer des fichiers
Stockez et référencez des fichiers non structurés dans Unity Catalog des manières suivantes :
- Les volumes Unity Catalog régissent le stockage des fichiers non tabulaires. Vous pouvez upload, organiser et accéder aux fichiers dans un volume par chemin d’accès. Voir Qu’est-ce que les volumes Unity Catalog ?.
- Le type
FILEréférence les fichiers et leurs métadonnées en tant que valeurs de premier ordre dans une table, régies par l'accès aux lignes qui les référencent. Voir Type de FICHIER et données non structurées et typeFILE. - La source de données binary file stocke les octets bruts d’un fichier dans une colonne
BINARY. Voir Lire des fichiers binaires. - La source de données image lit les fichiers image dans un DataFrame. Voir Lire des fichiers image.
Traiter les fichiers
Après avoir stocké vos fichiers dans Unity Catalog, traitez-les de la manière suivante :
- Extraire le contenu structuré des documents avec la fonction
ai_parse_documentet d’autres fonctions IA. - Traitez des fichiers avec votre propre code en utilisant des UDF. Voir Traiter des fichiers avec des UDF.
- Ingérer des fichiers dans des tables en tant que références
FILE. Voir Ingérer des fichiers en tant que type de fichier. - Créez un pipeline qui traite les fichiers de bout en bout. Voir Tutoriel : Créer un pipeline de traitement de fichiers avec le type FILE.