Pular para o conteúdo principal

Configurações de capacidade do driver para o Databricks ODBC Driver

Este artigo descreve como configurar os recursos especiais e avançados do driver para o driverDatabricks ODBC.

O driver ODBC da Databricks fornece as seguintes configurações especiais e avançadas de recursos do driver.

Definir o esquema inicial no ODBC​

O driver ODBC permite a você especificar o esquema definindo o Schema=<schema-name> como uma configuração de conexão. Isso é equivalente a executar USE <schema-name>.

Suporte a consultas ANSI SQL-92 em ODBC​

O driver ODBC aceita consultas SQL no dialeto ANSI SQL-92 e traduz as consultas para o dialeto Databricks SQL. No entanto, se seu aplicativo gera Databricks SQL diretamente ou seu aplicativo usa qualquer sintaxe SQL padrão não-ANSI SQL-92 específica para Databricks, Databricks recomenda que você defina UseNativeQuery=1 como uma configuração de conexão. Com essa configuração, o driver passa as consultas SQL verbatim para Databricks.

Extrair grandes resultados de consultas em ODBC​

Para obter o melhor desempenho ao extrair grandes resultados de consultas, use a versão mais recente do driver ODBC que inclui as seguintes otimizações.

Serialização de setas no ODBC​

ODBC A versão 2.6.15 do driver e o acima oferecem suporte a um formato otimizado de serialização de resultados de consulta que usa Apache Arrow.

Cloud Fetch em ODBC​

ODBC A versão 2.6.17 do driver e o acima oferecem suporte ao Cloud Fetch, um recurso que busca resultados de consultas por meio do armazenamento em nuvem configurado em sua implementação do Databricks.

Os resultados das consultas são carregados em um DBFS local de armazenamento interno do como arquivos serializados da Arrow de até 20 MB. Quando o driver envia solicitações de busca após a conclusão da consulta, o site Databricks gera e retorna URLs predefinidos para os arquivos de upload. O driver ODBC usa então os URLs para download os resultados diretamente de DBFS.

O Cloud Fetch é usado apenas para resultados de consulta maiores que 1 MB. Resultados menores são recuperados diretamente do Databricks.

O Databricks realiza automaticamente a coleta de lixo nos arquivos acumulados, que são marcados para exclusão após 24 horas.Esses arquivos marcados são completamente excluídos após mais 24 horas.

O Cloud Fetch está disponível apenas para o espaço de trabalho E2. Além disso, os buckets correspondentes do Amazon S3 não devem ter o controle de versão ativado. Se você tiver o controle de versão ativado, ainda poderá ativar o Cloud Fetch seguindo as instruções em Configurações avançadas.

Para saber mais sobre a arquitetura Cloud Fetch, consulte Como alcançamos conectividade de alta largura de banda com ferramentas de BI.

Configurações avançadas​

Se o senhor tiver ativado o controle de versão do bucketS3 em seu DBFS rooto site Databricks não poderá coletar versões mais antigas dos resultados da consulta de upload. Recomendamos que o senhor defina primeiro uma política de ciclo de vida S3 que elimine as versões mais antigas dos resultados da consulta de upload.

Para definir uma política de ciclo de vida, siga as etapas abaixo:

  1. No console AWS, acesse o serviço S3 .
  2. Clique no bucketS3 que o senhor usa para o armazenamento raiz do workspace.
  3. Abra a guia Gerenciamento e escolha Criar regra de ciclo de vida .
  4. Escolha qualquer nome para o nome da regra do ciclo de vida .
  5. Mantenha o campo prefixo vazio.
  6. Em Ações da regra do ciclo de vida , selecione Excluir permanentemente versões não atuais de objetos .
  7. Defina um valor em Dias após os objetos se tornarem não atuais . Recomendamos usar o valor 1 aqui.
  8. Clique em Criar regra .

Política de Ciclo de Vida

Ativar registro​

Para ativar o registro no driver ODBC para Windows, defina os seguintes campos no ODBC fonte de dados Administrator para o DSN relacionado:

  • Defina o campo Log Level (nível de registro ) de FATAL para log apenas eventos graves por meio de TRACE para log toda a atividade do driver.
  • Defina o campo Log Path (Caminho do registro) como o caminho completo para a pasta onde deseja salvar os arquivos log.
  • Defina o campo Max Number Files (Número máximo de arquivos) como o número máximo de arquivos log a serem mantidos.
  • Defina o campo Max File Size como o tamanho máximo de cada arquivo log em megabytes.

Para ativar o registro em log no driver ODBC para um computador que não seja Windows, defina as seguintes propriedades nas cadeias de conexão DSN ou DSN-less relacionadas:

  • Defina a propriedade LogLevel de 1 para log apenas eventos graves até 6 para log toda a atividade do motorista.
  • Defina a propriedade LogPath como o caminho completo para a pasta onde o senhor deseja salvar os arquivos log.
  • Defina a propriedade LogFileCount como o número máximo de arquivos log a serem mantidos.
  • Defina a propriedade LogFileSize como o tamanho máximo de cada arquivo log em bytes.

Para obter mais informações, consulte as seções Configuring Logging Options on Windows e Configuring Logging Options on a Non-Windows Machine no guia do driverDatabricks JDBC.

Última atualização em