Lakeflow Designerにデータを取り込む
DatabricksからアクセスできるすべてのデータをLakeflow Designerのビジュアルデータ準備に取り込むことができます。
Designer でのすべてのデータ取り込みは、 ソース 演算子から始まります。ソース オペレータの構成ペインを開くと、次のオプションが表示されます。
既存のテーブルを参照する
[既存の参照] をクリックしてアセットセレクターを開き、Unity Catalogでテーブルとボリュームを参照します。データがすでにDatabricksにある場合は、このオプションを使用します。
Unity Catalog メトリクスビューをソースとして選択することもできます。メトリクスビューを選択すると、含めるディメンションとメジャーを選択し、Designer が集計されたクエリーを生成します。
フォルダまたはボリュームを取り込みます
個別のファイルの代わりに、ソースオペレーターはUnity Catalogのボリューム全体またはフォルダーパスをターゲットにできます。Designerはフォルダー内のファイルからフォーマットを検出し、それらを単一のテーブルに読み込みます。
- CSV、JSON、Excel、Parquetなどの構造化ファイル形式の場合、Designerはすべてのファイルを読み取り、その行を1つのテーブルに結合します。
- PDFのようなドキュメントファイルの場合、Designerは各ファイルを1行として読み取るため、ファイルごとに1行になります。
ローカルファイルをドラッグアンドドロップ
ローカルマシンからCSVまたはExcelファイルをキャンバスに直接ドラッグします。Designerは、Unity Catalogのボリュームにファイルをアップロードし、自動的にソース演算子を作成します。
Excelファイルのドラッグアンドドロップには、Excelファイル形式のサポートを有効にする必要があります。「Excel ファイルの読み込みとストリーム」を参照してください。
ファイルからテーブルを作成する
ソース構成ペインで「 ファイルからテーブルを作成 」を選択すると、ローカルのCSVまたはExcelファイルをアップロードして、そこからUnity Catalogテーブルを作成できます。データがボリュームに保存されるのではなく、マネージドテーブルとして永続化されるようにしたい場合は、このオプションを使用します。さらに、大量のデータに対しては、これにより最高のパフォーマンスが提供されます。アップロードされたファイルには、Unity Catalogボリュームのファイルサイズ制限が適用されます。Unity Catalogボリューム内のファイルの操作を参照してください。
Googleドライブからインポート
Google ドライブからファイルをインポートするには:
- ソース構成ペインで、 Google ドライブからのインポート を選択します。
- Google ドライブにアクセスできるUnity Catalog接続を選択します。
- ファイルの URL を指定します。
これには、Googleドライブへのアクセス用に構成されたUnity Catalog接続が必要です。 接続設定方法については、 「Googleドライブからファイルを取り込む」を参照してください。
SharePointからのインポート
SharePoint からファイルをインポートするには:
- ソース構成ペインで、 SharePoint からのインポート を選択します。
- SharePoint サイトにアクセスできるUnity Catalog接続を選択します。
- 直接ファイルリンク を提供します。
正しいURLを取得するには、SharePointでファイルを右クリックし、 「プレビュー」 を選択して、ブラウザのアドレスバーからURLをコピーしてください。共有リンクは使用しないでください。
これには、SharePoint アクセス用に構成されたUnity Catalog接続が必要です。 接続を設定する方法については、 「SharePoint からファイルを取り込む」を参照してください。
追加のソースにはLakeFlow Connect使用します
データソースが Designer で直接利用できない場合は、 LakeFlow Connectで管理対象コネクタを確認してください。 LakeFlow Connect 、 SaaSアプリケーション (Salesforce、Workday、HubSpot など)、データベース、クラウド ストレージ、ストリーミング ソースからの取り込みをサポートします。 LakeFlow Connectを使用してUnity Catalogテーブルにデータを取り込んだ後、それを Designer でソースとして使用できます。