Solucionar problemas comuns de compartilhamento no OpenSharing
As seções a seguir descrevem erros comuns que podem ocorrer ao tentar acessar dados em um compartilhamento.
Erros de limite de recurso excedido
Problema : Sua consulta em uma tabela compartilhada retorna o erro RESOURCE_LIMIT_EXCEEDED.
"RESOURCE_LIMIT_EXCEEDED","message":"The table metadata size exceeded limits""RESOURCE_LIMIT_EXCEEDED","message":"The number of files in the table to return exceeded limits, consider contact your provider to optimize the table"
**Possíveis causas**: Há limites para o número de arquivos em metadados permitidos para uma tabela compartilhada:
- Arquivos ativos : Uma tabela compartilhada suporta um máximo de 400.000 arquivos ativos (ações AddFile). Se o número de arquivos ativos exceder este limite, as consultas retornarão o erro "número de arquivos excedido".
- Ações de RemoveFile : Uma tabela compartilhada oferece suporte a um máximo de 100.000 ações de RemoveFile no log Delta. Se o número de ações de RemoveFile exceder este limite, as consultas retornarão o erro "tamanho de metadados excedido".
É possível solicitar um aumento para o limite de arquivos ativos. Consulte Limites de recurso.
Correção recomendada: Entre em contato com seu provedor de dados e peça que otimizem a tabela compartilhada executando OPTIMIZE e VACUUM para compactar arquivos pequenos e remover entradas RemoveFile obsoletas do log Delta. Para obter orientação adicional, consulte erro RESOURCE_LIMIT_EXCEEDED ao consultar uma tabela do Delta Sharing na Base de Conhecimento do Databricks.
Problema de arquivo de dados do vacuum
Problema : Você vê uma mensagem de erro que exibe uma exceção “404 O [caminho|key] especificado não existe”.
Exemplos de erro do Spark:
java.lang.Throwable: HTTP request failed with status: HTTP/1.1 404 The specified path does not exist.
ou
HTTP request failed with status: HTTP/1.1 404 Not Found <?xml version="1.0" encoding="UTF-8"?>
<Error><Code>NoSuchKey</Code><Message>The specified key does not exist.</Message>
Causa possível : Geralmente, esse erro ocorre porque o arquivo de dados correspondente à URL pré-assinada é submetido à operação de *vacuum* na tabela compartilhada e pertence a uma versão histórica da tabela.
Solução alternativa : Consulte o Snapshot mais recente.
Erro de incompatibilidade de esquema com o Spark de código aberto
**Problema**: Ao usar o Apache Spark de código aberto (OSS), é exibido um erro de discrepância de esquema ao ler tabelas OpenSharing.
Exemplo de erro:
py4j.protocol.Py4JJavaError: An error occurred while calling o85.count.: org.apache.spark.SparkException: The schema or partition columns of your Delta table has changed since your DataFrame was created. Please redefine your DataFrame
Causa provável : O esquema ou as colunas de partição da tabela Delta mudaram após a criação do DataFrame.
Correção recomendada : Defina o sinalizador de configuração do Spark spark.delta.sharing.client.useStructuralSchemaMatch para true.
A configuração spark.delta.sharing.client.useStructuralSchemaMatch está disponível apenas em delta-sharing-client 1.2.3 ou acima, que requer Apache Spark 4.0.0 ou acima.
spark.conf.set("spark.delta.sharing.client.useStructuralSchemaMatch", "true")
Erros de configuração do conector Spark com o Spark de código aberto
Os seguintes erros podem ocorrer quando você começa o PySpark ou spark-shell com o conector Spark do OpenSharing, ou quando você lê uma tabela compartilhada pela primeira vez. Para obter instruções de configuração e combinações de versões compatíveis, consulte Apache Spark: ler dados compartilhados.
A versão do Java é muito antiga
Problema : O PySpark falha ao começar com um UnsupportedClassVersionError.
Error: LinkageError occurred while loading main class org.apache.spark.launcher.Main
java.lang.UnsupportedClassVersionError: org/apache/spark/launcher/Main has been compiled by a more recent version of the Java Runtime (class file version 61.0), this version of the Java Runtime only recognizes class file versions up to 55.0
Causa possível : A sua versão do Java é mais antiga do que a exigida pela sua versão do Apache Spark. O Apache Spark 4.x requer Java 17 ou acima. A versão do arquivo de classe 61.0 corresponde ao Java 17.
Correção recomendada : Instale o Java 17 ou acima e defina a variável de ambiente JAVA_HOME para a nova instalação do Java. Em seguida, execução java -version para confirmar a versão.
Conector Spark criado para uma versão diferente do Scala
Problema : A leitura de uma tabela compartilhada falha com NoClassDefFoundError para uma classe scala.collection.
java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRegister: io.delta.sharing.spark.DeltaSharingDataSource Unable to get public no-arg constructor
Caused by: java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce
A linha Caused by também pode ser:
Caused by: java.lang.NoClassDefFoundError: scala/collection/IterableOnce
Causa possível : A versão do Scala na coordenada Maven do conector Spark não corresponde à versão do Scala da sua instalação do Apache Spark. A classe ausente informa como eles não correspondem:
scala/collection/GenTraversableOnce: você está usando um conectordelta-sharing-spark_2.12com uma compilação Scala 2.13 do Apache Spark, como o PySpark 4.x.scala/collection/IterableOnce: você está usando um conectordelta-sharing-spark_2.13com uma versão Scala 2.12 do Apache Spark, como PySpark 3.5.
Correção recomendada : execute pyspark --version para descobrir sua versão do Scala. Em seguida, reinicie o PySpark com um conector Spark para essa versão do Scala: delta-sharing-spark_2.13 para Scala 2.13, ou delta-sharing-spark_2.12 para Scala 2.12. Consulte Escolher uma versão do conector Spark.
Opção 1: criar uma tabela Spark a partir dos dados CSV
Problema : A leitura de uma tabela compartilhada falha com um NoSuchMethodError.
Caused by: java.lang.NoSuchMethodError: 'org.apache.spark.sql.SparkSession$implicits$ org.apache.spark.sql.SparkSession.implicits()'
Causa possível : A versão do conector Spark foi criada para uma versão principal diferente do Apache Spark. Por exemplo, o conector Spark 3.3.3 foi criado para o Apache Spark 3.5, portanto não funciona com o Apache Spark 4.x.
Correção recomendada : Reinicie o PySpark com um lançamento de conector Spark que corresponda à sua versão do Apache Spark. Consulte Escolher uma versão do conector Spark.
Não é possível fazer download do conector Spark
Problema : PySpark falha ao começar com um erro unresolved dependency.
:: UNRESOLVED DEPENDENCIES ::
Exception in thread "main" java.lang.RuntimeException: [unresolved dependency: io.delta#delta-sharing-spark_2.13;4.4.1: not found]
Possíveis causas :
- Sua rede bloqueia o acesso ao Maven Central.
- A coordenada Maven na opção
--packagescontém um erro de digitação ou uma versão que não existe.
Correção recomendada : verifique a coordenada Maven em Escolher uma versão do conector Spark. Se sua rede bloquear o acesso ao Maven Central, adicione a opção --repositories com a URL de um espelho de repository Maven fornecido por sua organização.
A declaração SQL falha com um erro de sintaxe no shell do PySpark
Problema : A execução de uma declaração SQL no shell PySpark falha com SyntaxError: invalid syntax.
Causa possível : O shell do PySpark execução Python. Não é possível executar instruções SQL diretamente.
Correção recomendada : Execute declarações SQL usando spark.sql(). Veja query dados compartilhados usando SQL.
Problema de acesso a ativo de materialização compartilhada
Problema: Sua consulta em uma view compartilhada, view materializada ou tabela de transmissão retorna o DS_MATERIALIZATION_QUERY_FAILED erro.
"DS_MATERIALIZATION_QUERY_FAILED": "The shared asset could not be materialized due to the asset not being accessible in the materialization workspace. Please ask data provider to contact :re[DB] support to override the materialization workspace."
Causas possíveis : O provedor não tem acesso de leitura e gravação ao ativo que está tentando compartilhar.
Correção recomendada : entre em contato com seu provedor de dados para garantir que eles tenham acesso de leitura e gravação ao ativo de dados compartilhado.
Erro de acesso à rede durante a materialização de dados
Problema : Sua consulta em um ativo de dados compartilhado retorna um erro sobre o acesso ao armazenamento na cloud do provedor de dados.
There was an issue accessing the data provider's cloud storage. Shared view materialization uses the Serverless compute of data provider's region to perform the materialization. Please contact the data provider to allowlist Serverless compute IPs of their corresponding region to access the view's dependent tables storage location.
Possíveis causas : O local de armazenamento dos dados materializados tem restrições de rede (como um firewall ou link privado) que impedem o acesso do compute serverless Databricks. Ao compartilhar views, views materializadas ou tabelas de transmissão, os dados são materializados temporariamente no lado do provedor. O local de armazenamento da materialização é o esquema pai do ativo ou o local de armazenamento do catálogo.
**Correção recomendada**: O provedor de dados precisa adicionar à lista de permissões os IPs de compute serverless de sua região correspondente para acessar o local de armazenamento das tabelas dependentes da view. Para configurar seu firewall, consulte Limitar a saída de rede para seu workspace usando um firewall.
Erro de ativo de dados "não existe"
Se você clicar em um ativo compartilhado e encontrar um erro de objeto "não existe", o proprietário do compartilhamento, no lado do provedor, pode não ter permissões suficientes sobre o ativo. Entre em contato com seu provedor de dados e peça para que eles verifiquem se o proprietário do compartilhamento tem as permissões necessárias em todos os ativos compartilhados. Para obter mais informações sobre as permissões exigidas para que o proprietário de um compartilhamento compartilhe um ativo de dados, consulte Requisitos e Conceder acesso ao destinatário para compartilhar.