メインコンテンツまでスキップ
に最終更新

ファイルイベントを用いたAuto Loaderに移行する

ディレクトリ一覧または従来の通知を使用してファイルを検出する既存の Auto Loader ストリームがある場合は、それらをファイル イベントを用いたAuto Loader に移行できます。

ディレクトリリストから移行​

ディレクトリ リストを用いた Auto Loader ストリームをファイル イベントに移行するには:

  1. ファイル イベントの前提条件が満たされていることを確認します。
  2. ロード パスが外部ロケーションにあり、ファイル イベントが有効になっていること、およびファイル イベントが期待どおりに動作していることを確認します。
  3. ストリーム コードを変更して、 cloudFiles.useManagedFileEvents trueに設定します。同じチェックポイントの場所を引き続き使用します。
  4. ストリーム コードからサポートされていない設定を削除します。
  5. ストリームを再開します。ファイル イベントを有効にして初めて実行すると、Auto Loader はディレクトリ リストを実行して、ファイル イベント キャッシュを最新の状態にします (キャッシュ内の有効な読み取り位置を確保し、それをストリームのチェックポイントに保存します)。後続の実行では、ファイル イベント キャッシュから直接読み取ります。ファイル イベントを用いた Auto Loader の概要を参照してください。

Auto Loaderストリームをファイル イベントからディレクトリ リストに移行するには、次の手順を実行します。

  1. ストリーム コードからオプションcloudFiles.useManagedFileEventsを削除します。
  2. ストリームを再開します。

従来のファイル通知から移行する​

S3のソースデータ​

S3 では、プレフィックスが重複するイベント通知構成は許可されません。ソース データが S3 にある場合は、まず既存のイベント通知設定を解除する必要があります。

ファイルイベントへのクラシックファイル通知（S3）​

従来のファイル通知を使用して S3 からデータを消費する Auto Loader ストリームをファイル イベントに移行するには:

  1. 外部ロケーションでファイル イベントを有効にする前に、 Auto Loaderストリームを停止し、関連する通知リソースを破棄します。 ファイル通知リソースを手動で構成または管理するで説明されているように、 CloudFilesAWSResourceManagerのtearDownNotificationResources API を使用できます。
  2. ファイル イベントの前提条件が満たされていることを確認します。
  3. ロード パスが外部ロケーションにあり、ファイル イベントが有効になっていること、およびファイル イベントが期待どおりに動作していることを確認します。
  4. ストリーム コードを変更して、 cloudFiles.useManagedFileEvents trueに設定します。同じチェックポイントの場所を引き続き使用します。
  5. ストリーム コードからサポートされていない設定を削除します。
  6. ストリーム コードからクラウド固有の通知オプション( cloudFiles.queueUrl 、 databricks.serviceCredential 、 cloudFiles.awsAccessKeyなど) を削除します。
  7. ストリームを再開します。ファイル イベントを有効にして初めて実行すると、Auto Loader はディレクトリ リストを実行して、ファイル イベント キャッシュを最新の状態にします (キャッシュ内の有効な読み取り位置を確保し、それをストリームのチェックポイントに保存します)。後続の実行では、ファイル イベント キャッシュから直接読み取ります。ファイル イベントを用いた Auto Loader の概要を参照してください。

ファイルイベントから従来のファイル通知（S3）​

S3 からデータを消費するファイル イベントを用いた Auto Loader ストリームを従来のファイル通知に移行するには:

  1. Auto Loaderストリームを停止し、外部ロケーション UI を使用して外部ロケーションのファイル イベントをオフにします。 S3 では、プレフィックスが重複するイベント通知構成は許可されません。ファイル イベントを設定するときにキュー URL を指定した場合、Databricks では、ファイルの欠落を回避するために、以前の設定を破棄し、新しいキュー設定を作成することをお勧めします。
  2. ストリーム コードからオプションcloudFiles.useManagedFileEventsを削除します。
  3. オプションcloudFiles.useNotifications trueに設定します。
  4. Auto Loader がクラウドに対して認証し、通知リソースを設定し、キューから読み取るために必要なクラウド固有の通知オプション( cloudFiles.queueUrl 、 databricks.serviceCredential 、 cloudFiles.awsAccessKeyなど) を追加します。
  5. ストリームを開始します。cloudFiles.queueUrlオプション（事前設定されたキューを指定）を指定した場合、Auto Loader はキューを使用してファイルの検出を開始します。また、移行中にファイルが失われていないことを確認するために、ディレクトリの一覧を 1 回だけ作成します。キューを指定し なかった 場合、Auto Loader は通知に必要なすべてのリソースを作成しようとします。Auto Loaderストリームを再起動したときにエラーが発生した場合、 Databricksファイル イベント用に作成した通知リソースの削除を完了していない可能性があります。 数分後に再試行してください。

Azure Storage または Google Cloud Storage のソースデータ​

ファイル イベントへのクラシック ファイル通知 (Azure、GCP)​

Azure または GCP からデータを消費する従来のファイル通知を用いた Auto Loader ストリームをファイル イベントに移行するには、次の手順を実行します。

  1. ファイル イベントの前提条件が満たされていることを確認します。
  2. ロード パスが外部ロケーションにあり、ファイル イベントが有効になっていること、およびファイル イベントが期待どおりに動作していることを確認します。
  3. ストリーム コードを変更して、 cloudFiles.useManagedFileEvents trueに設定します。同じチェックポイントの場所を引き続き使用します。
  4. ストリーム コードからサポートされていない設定を削除します。
  5. ストリーム コードからクラウド固有の通知オプション( cloudFiles.queueName 、 cloudFiles.subscription 、 databricks.serviceCredential 、 cloudFiles.privateKey 、 cloudFiles.clientSecretなど) を削除します。
  6. ストリームを再開します。ファイル イベントを有効にして初めて実行すると、Auto Loader はディレクトリの一覧を実行して、ファイル イベント キャッシュを最新の状態にします (キャッシュ内の有効な読み取り位置を確保し、それをストリームのチェックポイントに保存します)。後続の実行では、ファイル イベント キャッシュから直接読み取ります。ファイル イベントを用いた Auto Loader の概要を参照してください。
  7. 従来のファイル通知モードで実行されたときに Auto Loader によって作成された通知リソースを削除します。ファイル通知リソースを手動で構成または管理するで説明されているように、 CloudFilesAWSResourceManagerのtearDownNotificationResources API を使用できます。

ファイル イベントから従来のファイル通知へ (Azure、GCP)​

Azure または GCP からデータを消費するファイル イベントを用いたAuto Loader ストリームを従来のファイル通知に移行するには、次の手順を実行します。

  1. ストリーム コードからオプションcloudFiles.useManagedFileEventsを削除します。
  2. オプションcloudFiles.useNotifications trueに設定します。
  3. Auto Loader がクラウドに対して認証し、通知リソースを設定し、キューから読み取るために必要なクラウド固有の通知オプション( cloudFiles.queueName 、 cloudFiles.subscription 、 databricks.serviceCredential 、 cloudFiles.privateKey 、 cloudFiles.clientSecretなど) を追加します。
  4. ストリームを再開します。cloudFiles.queueNameまたはcloudFiles.subscriptionオプションを指定した場合 (事前構成されたキューを指定した場合)、Auto Loader はキューを使用してファイルの検出を開始します。また、移行中にファイルが失われていないことを確認するために、ディレクトリの一覧を 1 回だけ作成します。キューを指定し なかった 場合、Auto Loader は通知に必要なすべてのリソースを作成しようとします。Auto Loaderストリームを再起動したときにエラーが発生した場合、 Databricksファイル イベント用に作成した通知リソースの削除を完了していない可能性があります。 数分後に再試行してください。
このページの見出し