Referência do conector GitHub
Beta
Este recurso está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a este recurso na página de Pré-visualizações . Veja as prévias do Gerenciador Databricks.
Esta página contém a documentação de referência para o conector GitHub no LakeFlow Connect.
Propriedades de conexão
Ao criar a conexão com o Unity Catalog , você deve especificar as seguintes propriedades para autenticação OAuth U2M. Esses valores vêm do aplicativo OAuth do GitHub que você configurou em Configurar OAuth U2M para ingestão do GitHub.
Propriedade | Obrigatório | Descrição |
|---|---|---|
ID do cliente | Sim | O ID do cliente do seu aplicativo OAuth do GitHub. |
Segredo do cliente | Sim | O segredo do cliente do seu aplicativo OAuth do GitHub. Esse valor é exibido apenas uma vez, quando você o gera. |
Domínio empresarial | Não | Seu hostname GitHub Enterprise Server (GHES), se aplicável (por exemplo, |
Opções do conector
Defina as seguintes opções ao configurar o pipeline de ingestão. Para ver um exemplo, consulte Restringir a ingestão a repositórios específicos.
Seleção de repository (repository_id_selections)
Por default, o conector ingere dados de todos os repository na organização. Para restringir a ingestão a specific repositories, defina repository_id_selections como uma lista de IDs de repository do GitHub. Estes são os IDs de repository numéricos e imutáveis, que permanecem estáveis quando um repository é renomeado. Quando a lista está vazia, o conector ingere todos os repositórios na organização.
A seleção de repository se aplica a tabelas de origem com escopo de repository: repositories, repo_contents, commits, issues, issue_comments, pull_request_review_comments, tags, workflows, branches, collaborators, deployments, discussions, labels, milestones, pull_requests e releases. Isso não tem efeito sobre tabelas aninhadas e com escopo de organização. Para obter a lista de tabelas que ignoram essa opção, consulte Seleção de repository.
Tabelas de origem suportadas
Para obter informações sobre quais tabelas suportam atualizações incrementais e quais são totalmente atualizadas em cada execução pipeline , consulte Dados suportados.
Conteúdo do repositório (tabela repo_contents)
A tabela repo_contents ingere todas as entradas em cada ramificação default do repositório, incluindo arquivos, diretórios, submódulos e links simbólicos. A chave primária é (repository_id, branch_name, path). A coluna type identifica cada entrada como um(a) blob (arquivo), tree (diretório) ou commit (submódulo). Links simbólicos são entradas blob com um mode de 120000. Somente as entradas de arquivo (blob) preenchem a coluna content, que contém o conteúdo de texto decodificado. Quando um arquivo é excluído do repositório de origem, sua linha é removida da tabela (exclusão definitiva). Para limitações, consulte Conteúdo do repositório.