Conectar-se ao Syncsort

info

Visualização

Esse recurso está em Public Preview.

O Syncsort ajuda o senhor a eliminar silos de dados, integrando dados legados, de mainframe e da IBM com o Databricks. O senhor pode facilmente extrair dados dessas fontes para o Delta Lake.

Aqui estão as etapas para usar o Syncsort com o Databricks.

Etapa 1: Gerar um Databricks tokens de acesso pessoal

Syncsort autentica-se em Databricks usando tokens de acesso pessoal Databricks.

nota

Como prática recomendada de segurança ao se autenticar com ferramentas, sistemas, scripts e aplicativos automatizados, a Databricks recomenda que você use tokens OAuth.

Se o senhor usar a autenticação de tokens de acesso pessoal, a Databricks recomenda usar o acesso pessoal tokens pertencente à entidade de serviço em vez de usuários workspace. Para criar tokens o site para uma entidade de serviço, consulte gerenciar tokens para uma entidade de serviço.

Etapa 2: Configurar um clustering para atender às necessidades de integração

Syncsort gravará os dados em um bucket S3 e o clustering de integração Databricks lerá os dados desse local. Portanto, o clustering de integração exige acesso seguro ao bucket S3.

Acesso seguro a um bucket S3

Para acessar AWS recurso, o senhor pode iniciar o clustering de integração Databricks com um instance profile. O instance profile deve ter acesso ao bucket de preparação S3 e ao bucket de destino S3 onde o senhor deseja gravar as tabelas Delta. Para criar um instance profile e configurar o clustering de integração para usar a função, siga as instruções do tutorial: Configurar o acesso S3 com um instance profile.

Como alternativa, o senhor pode usar IAM credential passthrough, que permite o acesso específico do usuário aos dados de S3 de um cluster compartilhado.

Especificar a configuração de clustering

1. Defina o clustering Mode como Standard .

2. Defina Databricks Runtime Version como uma versão de tempo de execução de Databricks.

3. Ative as gravações otimizadas e a compactação automática adicionando as seguintes propriedades à sua configuração do Spark:

   ini

   spark.databricks.delta.optimizeWrite.enabled true
   spark.databricks.delta.autoCompact.enabled true

4. Configure seu clustering de acordo com suas necessidades de integração e dimensionamento.

Para obter detalhes sobre a configuração de clustering, consulte a referência de configuração de computação.

Consulte Obter detalhes da conexão para um recurso Databricks compute para saber as etapas para obter o URL JDBC e o caminho HTTP.

Etapa 3: Obtenha os detalhes da conexão JDBC e ODBC para se conectar a um clustering

Para conectar um clustering Databricks a Syncsort, o senhor precisa das seguintes propriedades de conexão JDBC/ODBC:

• URL JDBC
• Caminho HTTP

Etapa 4: Configurar o Syncsort com o Databricks

Acesse a página de login Databricks e Connect for big data e siga as instruções.

Recurso adicional

Apoiar