メインコンテンツまでスキップ

コンピュート資格情報を使用した COPY INTO を使用したデータの読み込み

Databricks では、Databricks SQL での増分データ読み込みと一括データ読み込みに COPY INTO コマンドを使用することをお勧めします。

注記

COPY INTO 何千ものファイルを含むデータソースに適しています。 Databricks では、何百万ものファイルを読み込むために Auto Loader を使用することをお勧めしますが、これは 1 ではサポートされていませんDatabricks SQL。

始める前に​

Databricks にデータを読み込む前に、次のものがあることを確認してください。

ステップ 1: クラウド ストレージ内のデータへのアクセスを確認する​

クラウド・オブジェクト・ストレージ内の正しいデータにアクセスできることを確認するには、以下の操作を行います。

  1. サイドバーで、「 クエリを作成」> をクリックします。

  2. SQL エディターのメニュー バーで、SQLウェアハウスを選択します。

  3. SQL エディターで、次のコードを貼り付けます。

    select * from csv.<path>

  4. 実行 をクリックします。

ステップ 2: テーブルを作成する​

この手順では、受信データを保持するためのテーブルを Databricks ワークスペースに作成する方法について説明します。

  1. SQL エディターで、次のコードを貼り付けます。

    SQL
    CREATE TABLE <catalog_name>.<schema_name>.<table_name> (
      tpep_pickup_datetime  TIMESTAMP,
      tpep_dropoff_datetime TIMESTAMP,
      trip_distance DOUBLE,
      fare_amount DOUBLE,
      pickup_zip INT,
      dropoff_zip INT
    );

  2. 実行 をクリックします。

ステップ3:クラウドストレージからテーブルにデータをロードする​

クリーンアップします​

ワークスペース内の関連付けられているリソースを保持する必要がなくなった場合は、クリーンアップできます。

テーブルの削除​

  1. サイドバーで、「 クエリを作成」> をクリックします。

  2. SQLウェアハウスを選択し、SQLウェアハウスが実行されていることを確認します。

  3. 次のコードを貼り付けます。

    SQL
    DROP TABLE <catalog-name>.<schema-name>.<table-name>;

  4. 実行 をクリックします。

  5. このクエリのタブにカーソルを合わせ、[ X ] アイコンをクリックします。

SQL エディターでクエリを削除する​

  1. サイドバーで、「 SQL エディター 」をクリックします。
  2. SQL エディターのメニュー バーで、このチュートリアル用に作成した各クエリのタブにカーソルを合わせ、[ X ] アイコンをクリックします。

追加のリソース​

に最終更新