Compare os modos de detecção de arquivos do Auto Loader

O Auto Loader suporta dois modos de detecção de novos arquivos: listagem de diretórios e notificação de arquivos. O senhor pode alternar os modos de descoberta de arquivos entre as reinicializações da transmissão e ainda obter garantias de processamento de dados exatamente uma vez.

Modo de lista de diretórios

No modo de listagem de diretórios, o Auto Loader identifica novos arquivos listando o diretório de entrada. O modo de listagem de diretórios permite que o senhor comece rapidamente Auto Loader transmissão sem nenhuma configuração de permissão além do acesso aos seus dados no armazenamento em nuvem.

No Databricks Runtime 9.1 e no acima, o Auto Loader pode detectar automaticamente se os arquivos estão chegando com ordem lexical ao seu armazenamento em nuvem e reduzir significativamente a quantidade de chamadas ao API necessárias para detectar novos arquivos. Consulte O que é o modo de listagem de diretórios do Auto Loader? para obter mais detalhes.

Modo de notificação de arquivo

O modo de notificação de arquivo aproveita a notificação de arquivo e o serviço de fila em sua infraestrutura de nuvem account. O Auto Loader pode configurar automaticamente um serviço de notificação e um serviço de fila que se inscrevem em eventos de arquivo do diretório de entrada.

O modo de notificação de arquivos é mais eficiente e escalável para grandes diretórios de entrada ou um grande volume de arquivos, mas requer permissões adicionais na nuvem para ser configurado. Para obter mais informações, consulte O que é o modo de notificação de arquivo Auto Loader?

Armazenamento em nuvem suportado por modos

A disponibilidade desses modos está listada abaixo.

Se o senhor migrar de um local externo ou de uma montagem DBFS para um volume do Unity Catalog, o Auto Loader continuará a oferecer garantias de exatamente uma vez.

Armazenamento em nuvem	Listagem de diretórios	Notificações de arquivo
AWS S3	Todas as versões	Todas as versões
ADLS	Todas as versões	Todas as versões
GCS	Todas as versões	Databricks Runtime 9.1e acima
Armazenamento de Blobs do Azure	Todas as versões	Todas as versões
DBFS	Todas as versões	Somente para pontos de montagem
Unity Catalog volume	Databricks Runtime 13.3 LTS e acima	Sem compatibilidade