Conecte-se ao Qlik Replicate

Visualização

Este recurso está em visualização pública.

O Qlik Replicate ajuda você a extrair dados de várias fontes de dados (Oracle, Microsoft SQL Server, SAP, mainframe e mais) para o Delta Lake. A captura automatizada de dados de alterações (CDC) (CDC) do Replicate ajuda você a evitar o trabalho pesado de fazer a transferência manual de dados, transferindo usando um script de API, cortando, preparando e importando. O Qlik Compose automatiza o CDC no Delta Lake.

Observação

Para obter informações sobre o Qlik Sense, uma solução que ajuda você a analisar dados no Delta Lake, consulte Conectar ao Qlik Sense.

Para obter uma demonstração geral do Qlik Replicate Replicate, assista ao seguinte vídeo do YouTube (14 minutos).

Para uma demonstração do pipeline de dados com o Qlik Replicate Replicate, veja o seguinte vídeo do YouTube (6 minutos).

Aqui estão os passos para usar o Qlik Replicate com Databricks.

passo 1: Gerar access tokenspessoal do Databricks

O Qlik Replicate autentica com Databricks usando access tokens pessoal do Databricks.

Observação

Como prática recomendada de segurança ao se autenticar com ferramentas, sistemas, scripts e aplicativos automatizados, a Databricks recomenda que você use tokens OAuth.

Se o senhor usar a autenticação pessoal access token, a Databricks recomenda o uso de pessoal access tokens pertencente à entidade de serviço em vez de usuários workspace. Para criar o site tokens para uma entidade de serviço, consulte gerenciar tokens para uma entidade de serviço.

passo 2: configurar clusters para dar suporte às necessidades de integração

O Qlik Replicate gravará dados em um bucket S3 e os clusters de integração do Databricks lerão os dados desse local. Portanto, os clusters de integração requerem acesso seguro ao bucket do S3.

Acesso seguro a um bucket S3

Para acessar o recurso AWS, você pode iniciar os clusters de integração do Databricks com um instance profile. O instance profile deve ter acesso ao bucket S3 de preparação e ao bucket S3 de destino onde você deseja gravar as tabelas Delta. Para criar um instance profile e configurar os clusters de integração para usar a função, siga as instruções em Tutorial: Configurar o acesso ao S3 com um instance profile.

Como alternativa, você pode usar a passagem de credenciais do IAM, que permite acesso específico do usuário aos dados do S3 de clusters compartilhados.

Especifique a configuração clusters

  1. Defina clusters Mode como Standard.

  2. Defina Databricks Runtime Version para uma versão de tempo de execução do Databricks.

  3. Habilite gravações otimizadas e compactação automática adicionando as seguintes propriedades à configuração do Spark:

    spark.databricks.delta.optimizeWrite.enabled true
spark.databricks.delta.autoCompact.enabled true

  4. Configure seus clusters de acordo com suas necessidades de integração e dimensionamento.

Para obter detalhes sobre a configuração de clusters, consulte Referência de configuração de computação.

Consulte obter detalhes de ligação para um recurso de computação Databricks para obter os passos para obter o URL JDBC e o caminho HTTP.

passo 3: Obter detalhes de conexão JDBC e ODBC para se conectar a um clusters

Para conectar clusters Databricks ao Qlik Replicate, você precisa das seguintes propriedades de conexão JDBC/ODBC:

  • URL JDBC

  • Caminho HTTP

passo 4: Configurar Qlik Replicate com Databricks

Vá para a página de login da Qlik e siga as instruções.

Recursos adicionais

Suporte