Pular para o conteúdo principal

Solucionar problemas comuns de compartilhamento no OpenSharing

As seções a seguir descrevem erros comuns que podem ocorrer ao tentar acessar dados em um compartilhamento.

Erros de limite de recurso excedido​

Problema : Sua consulta em uma tabela compartilhada retorna o erro RESOURCE_LIMIT_EXCEEDED.

  • "RESOURCE_LIMIT_EXCEEDED","message":"The table metadata size exceeded limits"
  • "RESOURCE_LIMIT_EXCEEDED","message":"The number of files in the table to return exceeded limits, consider contact your provider to optimize the table"

**Possíveis causas**: Há limites para o número de arquivos em metadados permitidos para uma tabela compartilhada:

  • Arquivos ativos : Uma tabela compartilhada suporta um máximo de 400.000 arquivos ativos (ações AddFile). Se o número de arquivos ativos exceder este limite, as consultas retornarão o erro "número de arquivos excedido".
  • Ações de RemoveFile : Uma tabela compartilhada oferece suporte a um máximo de 100.000 ações de RemoveFile no log Delta. Se o número de ações de RemoveFile exceder este limite, as consultas retornarão o erro "tamanho de metadados excedido".

É possível solicitar um aumento para o limite de arquivos ativos. Consulte Limites de recurso.

Correção recomendada: Entre em contato com seu provedor de dados e peça que otimizem a tabela compartilhada executando OPTIMIZE e VACUUM para compactar arquivos pequenos e remover entradas RemoveFile obsoletas do log Delta. Para obter orientação adicional, consulte erro RESOURCE_LIMIT_EXCEEDED ao consultar uma tabela do Delta Sharing na Base de Conhecimento do Databricks.

Problema de nome do bucket do AWS S3​

Problema : você vê uma mensagem de erro que lança uma exceção de arquivo não encontrado ou de certificado.

Exemplo de erro do Spark:

FileReadException: Error while reading file delta-sharing:/%252Ftmp%252Fexample.share%2523example.tpc_ds.example/XXXXXXXXXXXXX/XXXXXXXX.

Caused by: SSLPeerUnverifiedException: Certificate for - <[workspace name].cloud.databricks.com.s3.us-east-1.amazonaws.com> doesn't match any of the subject alternative names [s3.amazonaws.com, *.s3.amazonaws.com…]:

Exemplo de erro do Pandas:

FileNotFoundError(path)
FileNotFoundError: https://xxxx.xxxxxx.s3.xx-xxxx-1.amazonaws.com/xxxxxx/part-00000-xxxxx-Amz-Algorithm=Axxxxxx-Amz-Date=xxxxxxxx&X-Amz-SignedHeaders=host&X-Amz-Expires=xxx&X-Amz-Credential=xxxxxxx_request&X-Amz-Signature=xxxxx

Exemplo de erro do Power BI:

DataSource.Error: The underlying connection was closed: Could not establish trust relationship for the SSL/TLS secure channel.
Details:
https://xxxx.xxxxxxxxx.s3.xx-xxxx-1.amazonaws.com/xxxxxxxx/part-00000-xxxxxxx.snappy.parquet

Causa possível : Geralmente, este erro aparece porque o nome do seu bucket usa notação de ponto (por exemplo, incorrect.bucket.name.notation). Esta é uma limitação da AWS. Consulte as regras de nomenclatura de buckets da AWS.

Você pode receber este erro mesmo que o nome do seu bucket esteja formatado corretamente. Por exemplo, você pode encontrar um erro de SSL (SSLCertVerificationError) ao executar código no PyCharm.

Correção recomendada : Se o nome do seu bucket usar uma notação de nomenclatura de bucket AWS inválida, use um bucket diferente para Unity Catalog e OpenSharing.

Se seu bucket usa convenções de nomenclatura válidas e você ainda enfrenta um(a) FileNotFoundError em Python, habilite o registro de depuração para ajudar a isolar o problema:

Python
import logging
logging.basicConfig(level=logging.DEBUG)

Problema de arquivo de dados do vacuum​

Problema : Você vê uma mensagem de erro que exibe uma exceção “404 O [caminho|key] especificado não existe”.

Exemplos de erro do Spark:

java.lang.Throwable: HTTP request failed with status: HTTP/1.1 404 The specified path does not exist.

ou

HTTP request failed with status: HTTP/1.1 404 Not Found <?xml version="1.0" encoding="UTF-8"?>
<Error><Code>NoSuchKey</Code><Message>The specified key does not exist.</Message>

Causa possível : Geralmente, esse erro ocorre porque o arquivo de dados correspondente à URL pré-assinada é submetido à operação de *vacuum* na tabela compartilhada e pertence a uma versão histórica da tabela.

Solução alternativa : Consulte o Snapshot mais recente.

Erro de incompatibilidade de esquema com o Spark de código aberto​

**Problema**: Ao usar o Apache Spark de código aberto (OSS), é exibido um erro de discrepância de esquema ao ler tabelas OpenSharing.

Exemplo de erro:

py4j.protocol.Py4JJavaError: An error occurred while calling o85.count.: org.apache.spark.SparkException: The schema or partition columns of your Delta table has changed since your DataFrame was created. Please redefine your DataFrame

Causa provável : O esquema ou as colunas de partição da tabela Delta mudaram após a criação do DataFrame.

Correção recomendada : Defina o sinalizador de configuração do Spark spark.delta.sharing.client.useStructuralSchemaMatch para true.

nota

A configuração spark.delta.sharing.client.useStructuralSchemaMatch está disponível apenas em delta-sharing-client 1.2.3 ou acima, que requer Apache Spark 4.0.0 ou acima.

Python
spark.conf.set("spark.delta.sharing.client.useStructuralSchemaMatch", "true")

Erros de configuração do conector Spark com o Spark de código aberto​

Os seguintes erros podem ocorrer quando você começa o PySpark ou spark-shell com o conector Spark do OpenSharing, ou quando você lê uma tabela compartilhada pela primeira vez. Para obter instruções de configuração e combinações de versões compatíveis, consulte Apache Spark: ler dados compartilhados.

A versão do Java é muito antiga​

Problema : O PySpark falha ao começar com um UnsupportedClassVersionError.

Error: LinkageError occurred while loading main class org.apache.spark.launcher.Main
java.lang.UnsupportedClassVersionError: org/apache/spark/launcher/Main has been compiled by a more recent version of the Java Runtime (class file version 61.0), this version of the Java Runtime only recognizes class file versions up to 55.0

Causa possível : A sua versão do Java é mais antiga do que a exigida pela sua versão do Apache Spark. O Apache Spark 4.x requer Java 17 ou acima. A versão do arquivo de classe 61.0 corresponde ao Java 17.

Correção recomendada : Instale o Java 17 ou acima e defina a variável de ambiente JAVA_HOME para a nova instalação do Java. Em seguida, execução java -version para confirmar a versão.

Conector Spark criado para uma versão diferente do Scala​

Problema : A leitura de uma tabela compartilhada falha com NoClassDefFoundError para uma classe scala.collection.

java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRegister: io.delta.sharing.spark.DeltaSharingDataSource Unable to get public no-arg constructor
Caused by: java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce

A linha Caused by também pode ser:

Caused by: java.lang.NoClassDefFoundError: scala/collection/IterableOnce

Causa possível : A versão do Scala na coordenada Maven do conector Spark não corresponde à versão do Scala da sua instalação do Apache Spark. A classe ausente informa como eles não correspondem:

  • scala/collection/GenTraversableOnce: você está usando um conector delta-sharing-spark_2.12 com uma compilação Scala 2.13 do Apache Spark, como o PySpark 4.x.
  • scala/collection/IterableOnce: você está usando um conector delta-sharing-spark_2.13 com uma versão Scala 2.12 do Apache Spark, como PySpark 3.5.

Correção recomendada : execute pyspark --version para descobrir sua versão do Scala. Em seguida, reinicie o PySpark com um conector Spark para essa versão do Scala: delta-sharing-spark_2.13 para Scala 2.13, ou delta-sharing-spark_2.12 para Scala 2.12. Consulte Escolher uma versão do conector Spark.

Opção 1: criar uma tabela Spark a partir dos dados CSV​

Problema : A leitura de uma tabela compartilhada falha com um NoSuchMethodError.

Caused by: java.lang.NoSuchMethodError: 'org.apache.spark.sql.SparkSession$implicits$ org.apache.spark.sql.SparkSession.implicits()'

Causa possível : A versão do conector Spark foi criada para uma versão principal diferente do Apache Spark. Por exemplo, o conector Spark 3.3.3 foi criado para o Apache Spark 3.5, portanto não funciona com o Apache Spark 4.x.

Correção recomendada : Reinicie o PySpark com um lançamento de conector Spark que corresponda à sua versão do Apache Spark. Consulte Escolher uma versão do conector Spark.

Não é possível fazer download do conector Spark​

Problema : PySpark falha ao começar com um erro unresolved dependency.

:: UNRESOLVED DEPENDENCIES ::
Exception in thread "main" java.lang.RuntimeException: [unresolved dependency: io.delta#delta-sharing-spark_2.13;4.4.1: not found]

Possíveis causas :

  • Sua rede bloqueia o acesso ao Maven Central.
  • A coordenada Maven na opção --packages contém um erro de digitação ou uma versão que não existe.

Correção recomendada : verifique a coordenada Maven em Escolher uma versão do conector Spark. Se sua rede bloquear o acesso ao Maven Central, adicione a opção --repositories com a URL de um espelho de repository Maven fornecido por sua organização.

A declaração SQL falha com um erro de sintaxe no shell do PySpark​

Problema : A execução de uma declaração SQL no shell PySpark falha com SyntaxError: invalid syntax.

Causa possível : O shell do PySpark execução Python. Não é possível executar instruções SQL diretamente.

Correção recomendada : Execute declarações SQL usando spark.sql(). Veja query dados compartilhados usando SQL.

Problema de acesso a ativo de materialização compartilhada​

Problema: Sua consulta em uma view compartilhada, view materializada ou tabela de transmissão retorna o DS_MATERIALIZATION_QUERY_FAILED erro.

"DS_MATERIALIZATION_QUERY_FAILED": "The shared asset could not be materialized due to the asset not being accessible in the materialization workspace. Please ask data provider to contact :re[DB] support to override the materialization workspace."

Causas possíveis : O provedor não tem acesso de leitura e gravação ao ativo que está tentando compartilhar.

Correção recomendada : entre em contato com seu provedor de dados para garantir que eles tenham acesso de leitura e gravação ao ativo de dados compartilhado.

Erro de acesso à rede durante a materialização de dados​

Problema : Sua consulta em um ativo de dados compartilhado retorna um erro sobre o acesso ao armazenamento na cloud do provedor de dados.

There was an issue accessing the data provider's cloud storage. Shared view materialization uses the Serverless compute of data provider's region to perform the materialization. Please contact the data provider to allowlist Serverless compute IPs of their corresponding region to access the view's dependent tables storage location.

Possíveis causas : O local de armazenamento dos dados materializados tem restrições de rede (como um firewall ou link privado) que impedem o acesso do compute serverless Databricks. Ao compartilhar views, views materializadas ou tabelas de transmissão, os dados são materializados temporariamente no lado do provedor. O local de armazenamento da materialização é o esquema pai do ativo ou o local de armazenamento do catálogo.

**Correção recomendada**: O provedor de dados precisa adicionar à lista de permissões os IPs de compute serverless de sua região correspondente para acessar o local de armazenamento das tabelas dependentes da view. Para configurar seu firewall, consulte configuração de firewall de compute serverless.

Erro de leitura da view materializada compartilhada causado por uma política de bucket​

Problema : sua query em uma view materializada compartilhada retorna um erro FAILED_READ_FILE com SQLSTATE KD001, mas as queries em tabelas compartilhadas no mesmo bucket S3 são executadas com sucesso.

[FAILED_READ_FILE.NO_HINT] Error while reading file delta-sharing:/... SQLSTATE: KD001

Causa possível : A política de bucket do S3 do provedor restringe URLs pré-assinadas, por exemplo, com uma declaração Deny na key de condição s3:signatureAge. Os destinatários leem as views materializadas compartilhadas por meio de URLs pré-assinadas, por isso a política bloqueia essas leituras. As tabelas compartilhadas são lidas usando cabeçalhos de solicitação assinados, portanto a mesma política não as afeta. A mensagem de erro não menciona a política de bucket.

Correção recomendada : Entre em contato com seu provedor de dados e peça que atualize a política do bucket para permitir o acesso por URL pré-assinada ao local de armazenamento da view materializada. Consulte key de política específicas para autenticação Signature Version 4 do Amazon S3 na documentação da AWS.

Erro de ativo de dados "não existe"​

Se você clicar em um ativo compartilhado e encontrar um erro de objeto "não existe", o proprietário do compartilhamento, no lado do provedor, pode não ter permissões suficientes sobre o ativo. Entre em contato com seu provedor de dados e peça para que eles verifiquem se o proprietário do compartilhamento tem as permissões necessárias em todos os ativos compartilhados. Para obter mais informações sobre as permissões exigidas para que o proprietário de um compartilhamento compartilhe um ativo de dados, consulte Requisitos e Conceder acesso ao destinatário para compartilhar.