Lakeflow Designerにデータを取り込む
DatabricksからアクセスできるすべてのデータをLakeflow Designerのビジュアルデータ準備に取り込むことができます。
Designer でのすべてのデータ取り込みは、 ソース 演算子から始まります。ソース オペレータの構成ペインを開くと、次のオプションが表示されます。
既存のテーブルを参照する
[既存の参照] をクリックしてアセットセレクターを開き、Unity Catalogでテーブルとボリュームを参照します。データがすでにDatabricksにある場合は、このオプションを使用します。
Unity Catalog メトリクスビューをソースとして選択することもできます。メトリクスビューを選択すると、含めるディメンションとメジャーを選択し、Designer が集計されたクエリーを生成します。
外部データベース接続を作成する
未設定の ソース オペレーターで、 Create external database connection を選択して外部データベースに接続します。Designer は Unity Catalog 接続と フォーリンカタログを作成し、カタログを開いてテーブルを選択できるようにします。
新しいUnity Catalog接続を作成するには、Unity Catalogメタストアに対するCREATE CONNECTIONおよびCREATE CATALOG特権が必要です。後で接続を一覧表示したり、アクセス権を付与したり、削除したりするには、「レイクハウスフェデレーションの接続を管理する」を参照してください。フォーリンカタログの管理については、「 フォーリンカタログの管理と操作」を参照してください。
Designerでは、次の接続タイプがサポートされています。
- Amazon Redshift
- Azure Synapse
- Databricks
- Google BigQuery
- MySQL
- Oracle
- PostgreSQL
- Salesforce データクラウド
- Salesforce Data クラウド File Sharing
- Snowflake
- SQL Server
- テラデータ
データソースが Designer で直接利用できない場合は、 LakeFlow Connectで管理対象コネクタを確認してください。 LakeFlow Connect 、 SaaSアプリケーション (Salesforce、Workday、HubSpot など)、データベース、クラウド ストレージ、ストリーミング ソースからの取り込みをサポートします。 LakeFlow Connectを使用してUnity Catalogテーブルにデータを取り込んだ後、それを Designer でソースとして使用できます。
フォルダまたはボリュームを取り込みます
個別のファイルの代わりに、ソースオペレーターはUnity Catalogのボリューム全体またはフォルダーパスをターゲットにできます。Designerはフォルダー内のファイルからフォーマットを検出し、それらを単一のテーブルに読み込みます。
- CSV、JSON、Excel、Parquetなどの構造化ファイル形式の場合、Designerはすべてのファイルを読み取り、その行を1つのテーブルに結合します。
- PDFのようなドキュメントファイルの場合、Designerは各ファイルを1行として読み取るため、ファイルごとに1行になります。
ファイルをドラッグアンドドロップします
ワークスペース ファイル ブラウザーまたはローカル デバイスからキャンバスにファイルをドラッグして、 ソース オペレーターを自動的に作成します。ローカル ファイルの場合、Designer はオペレーターが読み取れるように Unity Catalog ボリュームにコピーを upload します。
Excelファイルのドラッグアンドドロップには、Excelファイル形式のサポートを有効にする必要があります。「Excel ファイルの読み込みとストリーム」を参照してください。
ファイルからビジュアルデータの準備を起動
1つ以上のファイルから新しいビジュアルデータ準備を起動するには、 ビジュアルデータ準備 ページを開き、 新規 の横にあるドロップダウン矢印をクリックして、 ファイルのインポート を選択し、 ソースとして を選択します。CSV、JSON、Excel、またはPDFファイルを1つ以上uploadします。Designerは、各ファイルのソース演算子を使用してビジュアルデータ準備を作成します。
ファイルからテーブルを作成する
ソース構成ペインで「 ファイルからテーブルを作成 」を選択すると、ローカルのCSVまたはExcelファイルをアップロードして、そこからUnity Catalogテーブルを作成できます。データがボリュームに保存されるのではなく、マネージドテーブルとして永続化されるようにしたい場合は、このオプションを使用します。さらに、大量のデータに対しては、これにより最高のパフォーマンスが提供されます。アップロードされたファイルには、Unity Catalogボリュームのファイルサイズ制限が適用されます。Unity Catalogボリューム内のファイルの操作を参照してください。
Googleドライブからインポート
Google ドライブからファイルをインポートするには:
- ソース構成ペインで、 Google ドライブからのインポート を選択します。
- Google Driveへのアクセス権を持つ既存のUnity Catalog接続を選択するか、 [接続の作成] をクリックして新しく作成します。
- ファイルの URL を指定します。
接続要件とセットアップ手順については、Google ドライブからのファイルの取り込みを参照してください。
SharePointからのインポート
SharePoint からファイルをインポートするには:
- ソース構成ペインで、 SharePoint からのインポート を選択します。
- SharePoint サイトにアクセスできる既存の Unity Catalog 接続を選択するか、 [接続の作成] を選択して新しい接続を作成します。
- 直接ファイルリンク を提供します。
正しいURLを取得するには、SharePointでファイルを右クリックし、 「プレビュー」 を選択して、ブラウザのアドレスバーからURLをコピーしてください。共有リンクは使用しないでください。
接続要件とセットアップ手順については、「SharePoint からファイルを取り込む」を参照してください。