Lakehouse Federation for Salesforce Data Cloud Compartilhamento de arquivos

info

Visualização

Esse recurso está em Public Preview.

Esta página descreve como ler dados no Salesforce Data Cloud usando o conector de compartilhamento de arquivos.

Qual conector Salesforce devo usar?

A Databricks oferece vários conectores para o Salesforce. Há dois conectores de cópia zero: o conector de compartilhamento de arquivos do Salesforce Data Cloud e o conector de federação de consultas do Salesforce Data Cloud. Isso permite que você consulte dados no Salesforce Data Cloud sem movê-los. Há também um conector de ingestão do Salesforce que copia dados de vários produtos do Salesforce, incluindo o Salesforce Data Cloud e o Salesforce Ventas Cloud.

A tabela a seguir resume as diferenças entre os conectores do Salesforce na Databricks:

Conector	Caso de uso	Produto Salesforce suportado
Compartilhamento de arquivos do Salesforce Data Cloud	Quando o senhor usa o conector de compartilhamento de arquivos do Salesforce Data Cloud no Lakehouse Federation, o site Databricks chama o Salesforce Data-as-a-serviço (DaaS) APIs para ler diretamente os dados no local de armazenamento de objetos na nuvem subjacente. As consultas são executadas em Databricks compute sem usar o protocolo JDBC. Comparado à federação de consultas, o compartilhamento de arquivos é ideal para federar uma grande quantidade de dados. Ele oferece melhor desempenho para a leitura de arquivos de várias fontes de dados e melhores recursos de pushdown. Consulte Lakehouse Federation for Salesforce Data Cloud File compartilhamento.	Nuvem de dados do Salesforce
Federação de consultas do Salesforce Data Cloud	Quando o senhor usa o conector de federação de consultas do Salesforce Data Cloud no Lakehouse Federation, o site Databricks usa o JDBC para se conectar aos dados de origem e envia as consultas para o Salesforce. Consulte execução de consultas federadas no Salesforce Data Cloud.	Nuvem de dados do Salesforce
Ingestão do Salesforce	O conector de ingestão do Salesforce em LakeFlow Connect permite que o senhor crie um pipeline de ingestão totalmente gerenciado a partir dos dados da Salesforce Platform, incluindo dados no Salesforce Data Cloud e no Salesforce Ventas Cloud. Esse conector maximiza o valor aproveitando não apenas os dados do CDP, mas também os dados do CRM na Plataforma de Inteligência de Dados. Consulte Ingerir dados do Salesforce.	Salesforce Data Cloud, Salesforce ventas Cloud e muito mais. Para obter uma lista abrangente dos produtos Salesforce compatíveis, consulte Qual produto Salesforce é compatível com o conector de ingestão do Salesforce?

Antes de começar

Requisitos do workspace:

• Espaço de trabalho preparado para o Catálogo do Unity.

Requisitos de computação:

• Conectividade de rede do seu recurso Databricks compute para o Salesforce Data Cloud API e para os buckets públicos do Salesforce Data Cloud S3 onde os dados residem. Veja as recomendações do Networking para a Lakehouse Federation.
• Databricks O clustering deve usar Databricks Runtime 16.3 ou acima e o modo de acesso padrão.
• SQL warehouses devem ser Pro ou Serverless.

Permissões necessárias:

• Para criar uma conexão, é preciso ser administrador de metastore ou usuário com o privilégio CREATE CONNECTION no metastore do Unity Catalog anexado ao espaço de trabalho.
• Para criar um catálogo externo é preciso ter a permissão CREATE CATALOG no metastore e ser proprietário da conexão ou ter o privilégio CREATE FOREIGN CATALOG na conexão.

Outros requisitos de permissão são definidos em cada seção baseada em tarefa a seguir.

Crie uma conexão e um catálogo estrangeiro

A conexão especifica um caminho e as credenciais para acessar um sistema de banco de dados externo. Para criar uma conexão, você pode usar o Catalog Explorer ou o comando CREATE CONNECTION do SQL em um Notebook do Databricks ou no editor de consultas SQL do Databricks.

nota

O senhor também pode usar a API REST da Databricks ou a CLI da Databricks para criar uma conexão. Veja POST /api/2.1/unity-catalog/connections e Unity Catalog comando.

Permissões necessárias: Administrador do Metastore ou usuário com o privilégio CREATE CONNECTION.

Catalog Explorer

1. Em seu site Databricks workspace, clique em Catalog .

2. Na parte superior do painel Catálogo , clique no ícone Adicionar e selecione Adicionar uma conexão no menu.

   Como alternativa, na página de acesso rápido , clique no botão Dados externos >, acesse a tab Conexões e clique em Criar conexão .

3. Na página Noções básicas de conexão do assistente de configuração de conexão , insira um nome de conexão fácil de usar.

4. Selecione um tipo de conexão de compartilhamento de arquivos do Salesforce Data Cloud .

5. (Opcional) Adicione um comentário.

6. Clique em Criar conexão .

7. Na página Authentication (Autenticação ), insira as seguintes propriedades para sua instância de compartilhamento de arquivos do Salesforce Data Cloud:

   • endpoint específico do locatário : Por exemplo, https://mvsw0mbrmqzdcyj-m02t0mrsh1.pc-rnd.c360a.salesforce.com
   • Id. do locatário principal : Por exemplo, core/falcontest8-core4sdb26/00DVF000001E16v2AC

8. Na página Noções básicas do catálogo , insira um nome para o catálogo estrangeiro. Um catálogo externo espelha um banco de dados em um sistema de dados externo para que o senhor possa consultar e gerenciar o acesso aos dados desse banco de dados usando o Databricks e o Unity Catalog.

9. (Opcional) Clique em Testar conexão para confirmar se está funcionando.

10. Clique em Criar catálogo .

11. Na página Access (Acesso) , selecione o espaço de trabalho no qual os usuários podem acessar o catálogo que o senhor criou. O senhor pode selecionar All workspace have access (Todos os espaços de trabalho têm acesso ) ou clicar em Assign to workspace (Atribuir ao espaço de trabalho), selecionar o espaço de trabalho e clicar em Assign (Atribuir ).

12. Altere o proprietário que poderá gerenciar o acesso a todos os objetos no catálogo. começar a digitar um diretor na caixa de texto e, em seguida, clicar no diretor nos resultados retornados.

13. Conceda privilégios no catálogo. Clique em Conceder :

    a. Especifique os diretores que terão acesso aos objetos no catálogo. começar a digitar um diretor na caixa de texto e, em seguida, clicar no diretor nos resultados retornados. a. Selecione as predefinições de privilégios a serem concedidas a cada diretor. Todos os usuários de account recebem BROWSE por default.

    • Selecione Leitor de dados no menu suspenso para conceder privilégios read em objetos no catálogo.
    • Selecione Editor de dados no menu suspenso para conceder os privilégios read e modify aos objetos no catálogo.
    • Selecione manualmente os privilégios a serem concedidos.

    a. Clique em Conceder .

14. Clique em Avançar .

15. Na página Metadata (Metadados ), especifique as tags em key-value. Para obter mais informações, consulte Apply tags to Unity Catalog securable objects.

16. (Opcional) Adicione um comentário.

17. Clique em Salvar .

18. Anote o Account URL e o Connection URL. Você precisará desses valores para criar uma meta de compartilhamento de dados no Salesforce.

SQL

1. Execute o seguinte comando em um notebook ou no editor de consultas SQL do Databricks.

   SQL

   CREATE CONNECTION <connection-name> TYPE SALESFORCE_DATA_CLOUD_FILE_SHARING
   OPTIONS (
       tenant_specific_endpoint '<tenant_specific_endpoint>',
       core_tenant_id '<core_tenant_id>'
   );

2. Vá para a página de conexão da conexão recém-criada e anote o Account URL e o Connection URL. Você precisará desses valores para criar uma meta de compartilhamento de dados no Salesforce.

Crie uma meta de compartilhamento de dados no Salesforce

Crie uma meta de compartilhamento de dados no Salesforce usando o Account URL e o Connection URL que você recuperou na etapa anterior.

Consulte Criar um destino de compartilhamento de dados (Databricks) na documentação do Salesforce.

Mapeamentos de tipos de dados

Quando o senhor lê do Salesforce Data Cloud File compartilhamento para Spark, os tipos de dados são mapeados da seguinte forma:

Tipo de compartilhamento de arquivos do Salesforce Data Cloud	Spark tipo
Número	Tipo decimal (38, 18)
Booleana	Tipo booleano
TEXT	Tipo de string
Data	Tipo de data
Data e hora	timestampType
email (Texto)	Tipo de string
Porcentagem (Número)	Tipo decimal (38, 18)
Telefone (Texto)	Tipo de string
URL (Texto)	Tipo de string

Limitações

• Não há suporte para tabelas criadas no Salesforce Data Cloud usando upload de CSV.
• O conector não pode ser usado com clustering de usuário único.