Trabalhar com dados não estruturados

Armazene, gerencie e processe arquivos não estruturados, como documentos, imagens, áudio e vídeo, juntamente com dados estruturados no Unity Catalog.

Armazenar e referenciar arquivos

Armazene e referencie arquivos não estruturados no Unity Catalog das seguintes maneiras:

Volumes do Unity Catalog governam o armazenamento de arquivos não tabulares. Você pode fazer upload, organizar e acessar arquivos em um volume por caminho. Consulte O que são volumes do Unity Catalog?.
O tipoFILE referencia arquivos e seus metadados como valores de primeira classe em uma tabela, regidos pelo acesso às linhas que os referenciam. Consulte tipo de ARQUIVO e dados não estruturados e tipoFILE.
A fonte de dados arquivo binário armazena os bytes brutos de um arquivo em uma coluna BINARY. Consulte Ler arquivos binários.
A fonte de dados de imagem lê arquivos de imagem em um DataFrame. Consulte Ler arquivos de imagem.

Após armazenar seus arquivos no Unity Catalog, processe-os das seguintes maneiras:

Extraia conteúdo estruturado de documentos com funçãoai_parse_document e outras funções de AI.
Processe arquivos com seu próprio código usando UDFs. Consulte Processar arquivos com UDFs.
Ingerir arquivos em tabelas como referências FILE. Consulte Ingerir arquivos como o tipo FILE.
Crie um pipeline que processa arquivos de ponta a ponta. Consulte Tutorial: Criar um pipeline de processamento de arquivos com o tipo FILE.