Trabalhar com dados não estruturados

Armazene, gerencie e processe arquivos não estruturados, como documentos, imagens, áudio e vídeo, juntamente com dados estruturados no Unity Catalog.

Introdução

Experimente um exemplo de ponta a ponta para ver como as peças se encaixam.

- Início rápido das funções de ARQUIVO
- Crie uma tabela com uma coluna FILE e trabalhe com arquivos usando funções FILE.
- Tutorial de dados não estruturados
- Armazene, faça queries, processe e compartilhe arquivos não estruturados usando volumes do Unity Catalog.

Escolha como armazenar e referenciar arquivos com base em se você os acessa por caminho ou como valores em uma tabela.

- Volumes do Unity Catalog
- Governe o armazenamento de arquivos não tabulares. Faça upload, organize e acesse arquivos em um volume por caminho.
- Tipo de Arquivo
- Referencie arquivos e seus metadados como valores de primeira classe em uma tabela, governados pelo acesso às linhas que os referenciam. Para a definição do tipo, consulte a referência do tipo FILE.
- Fonte de dados binários
- Armazene os bytes brutos de um arquivo em uma coluna BINARY.
- Fonte de dados de imagem
- Ler arquivos de imagem em um DataFrame.

Depois de armazenar seus arquivos no Unity Catalog, extraia conteúdo, execute código personalizado e crie pipelines.

- Analisar documentos
- Extraia conteúdo estruturado de documentos com ai_parse_document e outras funções de IA.
- Processar arquivos com UDFs
- Leia metadados e bytes de arquivos e gere novos arquivos usando seu próprio código em UDFs.
- Ingerir arquivos como referências FILE
- Carregue arquivos em tabelas como referências FILE.
- Criar um pipeline de arquivos
- Processe arquivos de ponta a ponta em um pipeline.
- Pesquisar arquivos em um volume
- Indexe os arquivos em um volume para que usuários e agentes possam pesquisá-los.

Controle quem pode acessar arquivos e gerenciar seu ciclo de vida com o Unity Catalog.

- Controle de acesso a volumes
- Conceda privilégios em volumes para controlar quem pode ler e gravar arquivos por caminho.
- Ciclo de vida GERENCIADO POR ARQUIVO
- Deixe o Databricks gerenciar o armazenamento e o ciclo de vida dos arquivos que uma tabela referencia.
- Filtros de linha em colunas FILE
- Restrinja o acesso a arquivos aplicando filtros de linha às linhas que os referenciam.