Pular para o conteúdo principal
Última atualização em

Conecte-se ao Syncsort

importante

Esta documentação foi descontinuada e pode não ser atualizada. O produto, serviço ou tecnologia mencionados neste conteúdo não são mais suportados. Consulte a documentação da Precisely.

A Syncsort ajuda você a eliminar silos de dados, integrando dados legados, de mainframe e da IBM com o Databricks. Você pode facilmente importar dados dessas fontes para o Delta Lake. Syncsort agora faz parte da Precisely.

Aqui estão os passos para usar o Syncsort com o Databricks.

Passo 1: Gere um access tokenpessoal Databricks​

Syncsort autentica-se com Databricks usando um access token pessoal Databricks .

nota

Como prática recomendada de segurança ao autenticar com ferramentas, sistemas, scripts e aplicativos automatizados, a Databricks recomenda o uso de tokens OAuth.

Se você utiliza autenticação access token pessoal, Databricks recomenda o uso de access tokens pessoal pertencentes à entidade de serviço em vez de usuários workspace . Para criar tokens para entidade de serviço, consulte gerenciar tokens para uma entidade de serviço.

Etapa 2: Configurar um cluster para atender às necessidades de integração​

O Syncsort gravará os dados em um bucket do S3 e o cluster de integração do Databricks lerá os dados desse local. Portanto, o cluster de integração requer acesso seguro ao bucket S3.

Acesso seguro a um bucket S3​

Para acessar AWS Recurso, você pode iniciar o cluster de integração Databricks com um instance profile. O instance profile deve ter acesso ao bucket S3 de preparação e ao bucket S3 de destino onde você deseja gravar as tabelas Delta . Para criar um instance profile e configurar o cluster de integração para usar a função, siga as instruções no tutorial: Configurar o acesso S3 com um instance profile.

Como alternativa, você pode usar a passagem de credenciais do IAM, que permite o acesso específico do usuário aos dados do S3 a partir de um cluster compartilhado.

Especifique a configuração do cluster.​

  1. Defina Modedo cluster para Padrão .

  2. Defina a versãoDatabricks Runtime para uma versão Databricks Runtime.

  3. Habilite gravações otimizadas e compactação automática adicionando as seguintes propriedades à sua configuração do Spark:

    ini
    spark.databricks.delta.optimizeWrite.enabled true
    spark.databricks.delta.autoCompact.enabled true

  4. Configure seu cluster de acordo com suas necessidades de integração e escalabilidade.

Para obter detalhes sobre a configuração cluster , consulte a referência de configuração de computação.

Consulte a seção "Obter detalhes de conexão para um recurso compute Databricks para obter os passos para obter a URL JDBC e o caminho HTTP.

Etapa 3: Obtenha os detalhes de conexão JDBC e ODBC para se conectar a um cluster​

Para conectar um cluster Databricks ao Syncsort, você precisa das seguintes propriedades de conexão JDBC/ODBC:

  • URL JDBC
  • Caminho HTTP

o passo 4: Configurar Syncsort com Databricks​

Acesse a página de login Databricks e Connect para Big Data e siga as instruções.

Recursos adicionais​

Apoiar