メインコンテンツまでスキップ

OpenSharing での一般的な共有に関する問題のトラブルシューティング

以下のセクションでは、共有データにアクセスしようとしたときに発生する可能性のある一般的なエラーについて説明します。

リソース制限超過エラー​

問題 : 共有テーブルでのクエリでエラー RESOURCE_LIMIT_EXCEEDED が返されます。

  • "RESOURCE_LIMIT_EXCEEDED","message":"The table metadata size exceeded limits"
  • "RESOURCE_LIMIT_EXCEEDED","message":"The number of files in the table to return exceeded limits, consider contact your provider to optimize the table"

考えられる原因 :共有テーブルのメタデータに許可されるファイル数には制限があります。

  • アクティブなファイル :共有テーブルでサポートされるアクティブ ファイルは最大 400,000 個です(AddFile アクション)。アクティブ ファイル数がこの上限を超えると、クエリは "number of files exceeded" エラーを返します。
  • ファイル削除アクション : 共有テーブルは、Deltaログにおける最大100,000個のRemoveFileアクションをサポートします。RemoveFileアクションの数がこの制限を超過すると、クエリは「メタデータサイズ超過」エラーを返します。

アクティブファイルの制限について、制限の引き上げをリクエストできます。「リソース制限」を参照してください。

推奨される修正 : データプロバイダーに連絡し、OPTIMIZE と VACUUM を実行して、共有テーブルを最適化し、小さいファイルを圧縮して、古い RemoveFile エントリを Delta ログから削除するように依頼してください。詳細については、Databricks ナレッジ ベースの「RESOURCE_LIMIT_EXCEEDED error when querying a Delta Sharing table」を参照してください。

Vacuum処理済みデータファイルの問題​

問題 : 「404 指定された [path|key] が存在しません」という例外をスローするエラーメッセージが表示されます。

Sparkエラーの例:

java.lang.Throwable: HTTP request failed with status: HTTP/1.1 404 The specified path does not exist.

または

HTTP request failed with status: HTTP/1.1 404 Not Found <?xml version="1.0" encoding="UTF-8"?>
<Error><Code>NoSuchKey</Code><Message>The specified key does not exist.</Message>

考えられる原因 :通常、このエラーは、共有テーブルでプリ署名付きURLに対応するデータファイルがvacuumされ、データファイルが履歴テーブルバージョンに属しているために発生します。

回避策 :最新のスナップショットをクエリーします。

オープンソース Spark でのスキーマの不一致エラー​

問題: オープンソース Spark (OSS) の使用時に、OpenSharing テーブルの読み取り時にスキーマ不一致エラーが発生します。

エラーの例:

py4j.protocol.Py4JJavaError: An error occurred while calling o85.count.: org.apache.spark.SparkException: The schema or partition columns of your Delta table has changed since your DataFrame was created. Please redefine your DataFrame

考えられる原因: DataFrameが作成された後に、Deltaテーブルのスキーマまたはパーティション列が変更されました。

推奨される修正 : Spark 構成フラグ spark.delta.sharing.client.useStructuralSchemaMatch を true に設定します。

注記

spark.delta.sharing.client.useStructuralSchemaMatch設定は、Apache Spark 4.0.0 以降を必要とする delta-sharing-client 1.2.3 以降でのみ利用可能です。

Python
spark.conf.set("spark.delta.sharing.client.useStructuralSchemaMatch", "true")

オープンソースのSparkでSparkコネクターをセットアップする際のエラー​

OpenSharing Spark コネクタで PySpark または spark-shell を起動したとき、または共有テーブルを初めて読み取ったときに、次のエラーが発生する可能性があります。セットアップの手順と互換性のあるバージョンの組み合わせについては、 Apache Spark: 共有データの読み取りを参照してください。

Javaバージョンが古すぎます​

問題 : PySpark が UnsupportedClassVersionError で起動しません。

Error: LinkageError occurred while loading main class org.apache.spark.launcher.Main
java.lang.UnsupportedClassVersionError: org/apache/spark/launcher/Main has been compiled by a more recent version of the Java Runtime (class file version 61.0), this version of the Java Runtime only recognizes class file versions up to 55.0

考えられる原因 : Java のバージョンが Apache Spark のバージョンで要求されているものより古いです。Apache Spark 4.x には Java 17 以降が必要です。クラスファイルバージョン 61.0 は Java 17 に対応しています。

推奨される修正 : Java 17以降をインストールし、 JAVA_HOME 環境変数を新しいJavaインストールに設定します。次に、 java -version をランしてバージョンを確認します。

異なるScalaバージョン向けに構築されたSparkコネクター​

問題 : 共有テーブルの読み取りが scala.collection クラスの NoClassDefFoundError で失敗します。

java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRegister: io.delta.sharing.spark.DeltaSharingDataSource Unable to get public no-arg constructor
Caused by: java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce

Caused by 行は以下のような形式の可能性もあります:

Caused by: java.lang.NoClassDefFoundError: scala/collection/IterableOnce

考えられる原因 : Spark コネクタの Maven 座標の Scala バージョンが、Apache Spark インストールの Scala バージョンと一致していません。不足しているクラスは、それらがどのように一致していないかを示します:

  • scala/collection/GenTraversableOnce: PySpark 4.x などの Apache Spark の Scala 2.13 ビルドで delta-sharing-spark_2.12 コネクターを使用しています。
  • scala/collection/IterableOnce: PySpark 3.5 などの Apache Spark の Scala 2.12 ビルドで delta-sharing-spark_2.13 コネクターを使用しています。

推奨される修正 : pyspark --version をランして、Scalaのバージョンを確認します。その後、その Scala バージョンの Spark コネクタで PySpark を再起動します。Scala 2.13 の場合は delta-sharing-spark_2.13、Scala 2.12 の場合は delta-sharing-spark_2.12 です。Spark コネクタのバージョンを選択するを参照してください。

異なるSparkバージョン向けに構築されたSparkコネクタ​

問題 : 共有テーブルの読み取りに NoSuchMethodError で失敗します。

Caused by: java.lang.NoSuchMethodError: 'org.apache.spark.sql.SparkSession$implicits$ org.apache.spark.sql.SparkSession.implicits()'

考えられる原因 : Sparkコネクタのリリースが、異なるメジャーバージョンのApache Spark用にビルドされています。たとえば、Sparkコネクタ3.3.3はApache Spark 3.5用にビルドされているため、Apache Spark 4.xでは動作しません。

推奨される修正 : Apache Spark のバージョンと一致する Spark コネクターのリリースで PySpark を再起動します。Spark コネクターのバージョンの選択を参照してください。

Sparkコネクターをdownloadできません​

問題 : PySpark が unresolved dependency エラーで起動できません。

:: UNRESOLVED DEPENDENCIES ::
Exception in thread "main" java.lang.RuntimeException: [unresolved dependency: io.delta#delta-sharing-spark_2.13;4.4.1: not found]

考えられる原因 :

  • ネットワークが Maven Central へのアクセスをブロックしています。
  • --packages オプションの Maven 座標にスペルミスがあるか、存在しないバージョンが指定されています。

推奨される修正 : Spark コネクタのバージョンの選択 に対して Maven 座標を確認します。ネットワークが Maven Central へのアクセスをブロックしている場合は、組織が提供する Maven リポジトリミラーの URL を指定して --repositories オプションを追加します。

PySpark シェルで SQL 文が構文エラーで失敗する​

問題 : PySpark シェルで SQL ステートメントを実行すると SyntaxError: invalid syntax で失敗します。

考えられる原因 : PySpark シェルは Python を実行します。SQL ステートメントを直接実行することはできません。

推奨される修正 : spark.sql() を使用して SQL 文を実行します。「SQL を使用して共有データをクエリーする」を参照してください。

共有される具体化アセットのアクセスに関する問題​

問題 : 共有ビュー、マテリアライズドビュー、またはストリーミングテーブルに対するクエリでエラー「DS_MATERIALIZATION_QUERY_FAILED」が返されます。

"DS_MATERIALIZATION_QUERY_FAILED": "The shared asset could not be materialized due to the asset not being accessible in the materialization workspace. Please ask data provider to contact :re[DB] support to override the materialization workspace."

考えられる原因 : プロバイダーには、共有しようとしているアセットに対する読み書きアクセス権がありません。

**推奨される修正**: データプロバイダーに連絡し、共有データ資産への読み取り/書き込みアクセス権があることを確認してください。

データ具体化中のネットワークアクセスエラー​

問題: 共有データアセットに対するクエリで、データプロバイダーのクラウドストレージへのアクセスに関するエラーが返されます。

There was an issue accessing the data provider's cloud storage. Shared view materialization uses the Serverless compute of data provider's region to perform the materialization. Please contact the data provider to allowlist Serverless compute IPs of their corresponding region to access the view's dependent tables storage location.

考えられる原因 :実体化されたデータのストレージの場所に、Databricks サーバレス コンピュートがアクセスできないネットワーク制限(ファイアウォールやプライベートリンクなど)があります。ビュー、マテリアライズドビュー、またはストリーミングテーブルを共有する場合、データはプロバイダー側で一時的に実体化されます。実体化ストレージの場所は、アセットの親スキーマまたはカタログのストレージの場所です。

推奨される修正点: データプロバイダーは、ビューの依存テーブルのストレージ ロケーションにアクセスするために、対応するリージョンのサーバレス コンピュート IP を許可リストに追加する必要があります。ファイアウォールを設定するには、ファイアウォールを使用してワークスペースのネットワークエグレスを制限するを参照してください。

データ資産「存在しません」エラー​

共有アセットをクリックして、「存在しません」というオブジェクトエラーが発生した場合、プロバイダー側の共有所有者は、そのアセットに対する十分な権限を持っていない可能性があります。データプロバイダーに連絡し、共有所有者がすべての共有アセットに対して必要な権限を持っていることを確認するよう依頼してください。共有所有者がデータアセットを共有するために必要な権限の詳細については、「要件」と「受信者への共有アクセス権の付与」を参照してください。