Databricksとは

Databricks は、エンタープライズグレードのデータ分析と AI ソリューションを大規模に構築、デプロイ、共有、保守するための、統合されたオープンなアナリティクスプラットフォームです。 Databricksデータインテリジェンスプラットフォームは、クラウドアカウントのクラウドストレージおよびセキュリティと統合し、ユーザーに代わってクラウドインフラストラクチャを管理およびデプロイします。

データインテリジェンスプラットフォームの仕組み

Databricks では、生成 AI とデータレイクハウスを使用して、データの固有のセマンティクスを理解します。次に、パフォーマンスを自動的に最適化し、ビジネスニーズに合わせてインフラストラクチャを管理します。

自然言語処理はビジネスの言語を学習するため、自分の言葉で質問することでデータを検索して発見できます。自然言語アシスタンスは、コードの記述、エラーのトラブルシューティング、ドキュメント内の回答の検索に役立ちます。

最後に、データと AI アプリケーションは、強力なガバナンスとセキュリティに頼ることができます。データのプライバシーと IP 制御を損なうことなく、OpenAIなどのAPIをインテグレーションできます。

Databricksの用途

Databricks は、BI から生成 AI までのソリューションを使用して、データセットの処理、保存、共有、分析、モデル化、収益化のために、データソースを 1 つのプラットフォームに接続するのに役立つツールを提供します。

Databricksワークスペースは、以下のように様々なデータタスクのための統合インタフェースとツールを提供します。

データ処理のスケジューリングと管理、特にETL
ダッシュボードとビジュアライゼーションの生成
セキュリティー、ガバナンス、高可用性、およびディザスタリカバリーの管理
データの検出、アノテーション、探索
機械学習 (ML) のモデリング、追跡、モデルサービング
生成AI ソリューション

オープンソースとのマネージド統合

Databricks は、オープンソースコミュニティに強くコミットしています。 Databricksでは、Databricks Runtimeリリースでオープンソースのインテグレーションのアップデートを管理します。次のテクノロジーは、Databricks の従業員によって最初に作成されたオープンソースプロジェクトです。

ツールとプログラムによるアクセス

Databricksは、これらのテクノロジーを統合して拡張し、最適なパフォーマンスと使いやすさを実現する以下のような独自のツールを多数用意しています。

ワークスペースUIに加え、以下のツールを使用して、Databricksをプログラムで操作できます。

REST API
CLI
Terraform

DatabricksとAWSの連携

Databricksプラットフォームアーキテクチャは、以下の2つの主要な要素で構成されます。

Databricksがプラットフォームとサービスをデプロイ、構成、管理するために使用しているインフラストラクチャ。
Databricksとお客様が共同で管理する、お客様所有のインフラストラクチャ。

多くのエンタープライズデータ企業とは異なり、Databricksでは、プラットフォームを使用するためにデータを独自のストレージシステムに移行する必要はありません。代わりに、Databricksプラットフォームとお客様のクラウドアカウント間にセキュアなインテグレーションを構成することでDatabricksワークスペースを構築します。Databricksはお客様アカウントのクラウドリソースを使用してコンピュートクラスターをデプロイし、オブジェクトストレージやその他の顧客管理の統合サービスでデータを処理および格納します。

Unity Catalogはこの関係をさらに拡張し、Databricks内から使い慣れたSQL構文を使用してデータにアクセスするための権限を管理できるようにします。

Databricksワークスペースは、最もセキュリティを重視する世界最大規模の企業のセキュリティおよびネットワーク要件を満たしています。Databricksを使用すると、新しいユーザーがプラットフォームを簡単に使い始めることができます。これにより、経験豊富なデータチーム、運用チーム、セキュリティチームが必要とするカスタマイズやコントロールが制限されることなく、クラウドインフラストラクチャの操作に伴う多くの負担や懸念が解消されます。

Databricksの一般的なユースケース

Databricksのユースケースは、プラットフォームで処理されるデータや、業務の中核部分としてデータを扱う従業員のペルソナと同じくらい多様です。以下のユースケースでは、組織全体のユーザーがDatabricksを活用して、重要な業務や意思決定を推進するデータの処理、格納、分析に不可欠なタスクを実行する方法について説明します。

エンタープライズデータレイクハウスの構築

データレイクハウスは、エンタープライズデータウェアハウスとデータレイクの長所を組み合わせて、エンタープライズデータソリューションを高速化、簡素化、統合します。データエンジニア、データサイエンティスト、アナリスト、本番運用システムはすべて、データレイクハウスを信頼できる唯一の情報源として使用できるため、一貫性のあるデータにタイムリーにアクセスでき、多くの分散データシステムの構築、保守、同期の複雑さが軽減されます。「データレイクハウスとは」を参照してください。

ETLとデータエンジニアリング

ダッシュボードの作成であれ、人工知能アプリケーションのパワーアップであれ、データエンジニアリングは、データが利用可能かつクリーンで、効率的なディスカバリーと利用を可能にするデータモデルに保存されるようにすることで、データセントリックな企業のバックボーンを提供することができます。Databricksは、Apache SparkのパワーをDelta Lakeやカスタムツールと組み合わせて、比類のないETL（抽出、変換、ロード）エクスペリエンスを提供します。SQL、Python、Scalaを使用してETLロジックを作成し、わずか数回のクリックでスケジュールされたジョブのデプロイメントをオーケストレーションすることができます。

Delta Live Tablesは、データセット間の依存関係をインテリジェントに管理し、本番インフラストラクチャを自動的にデプロイおよびスケーリングすることで、ETLをさらに簡素化し、お客様の仕様に沿ったタイムリーで正確なデータの配信を保証することができます。

Databricksは、クラウドオブジェクトストレージやデータレイクからデータレイクハウスにデータをインクリメンタルかつ冪等的に読み込むための効率的でスケーラブルなツールであるAuto Loaderなど、データ取り込みのためのカスタムツールを多数提供しています。

機械学習、AI、データサイエンス

Databricks 機械学習は、機械学習用の MLflow や Databricks Runtime など、データサイエンティストおよび ML エンジニアのニーズに合わせた一連のツールを使用して、プラットフォームのコア機能を拡張します。

大規模な言語モデルと生成AI

Databricks機械学習ランタイムには、既存の事前トレーニング済みモデルやその他のオープンソースライブラリをワークフローに統合できる Hugging Face Transformers などのライブラリが含まれています。 Databricks MLflow 統合により、トランスフォーマーパイプライン、モデル、および処理コンポーネントで MLflow 追跡サービスを簡単に使用できます。さらに、 John Snow Labs などのパートナーの OpenAI モデルまたはソリューションを Databricks ワークフローに統合できます。

Databricksを使用すると、特定のタスクに合わせてデータのLLMをカスタマイズできます。Hugging FaceやDeepSpeedなどのオープンソースツールのサポートにより、基礎となるLLMを効率的に取得し、独自のデータでトレーニングを開始することで、ドメインやワークロードに対してより高い精度を持つことができます。

さらに、Databricksは、SQLデータアナリストがデータパイプラインやワークフローからOpenAIなどのLLMモデルに直接アクセスするために使用できるAI機能を提供しています。「DatabricksのAI Functions」を参照してください。

データウェアハウジング、分析、BI

Databricks 、ユーザーフレンドリーな UI とコスト効率の高いコンピュートリソース、そして無限にスケーラブルで手頃な価格のストレージを組み合わせて、分析クエリを実行するための強力なプラットフォームを提供します。管理者はスケーラブルなクラウドをSQL ウェアハウスとして構成し、エンドユーザーがクラウド上で作業する際の複雑さを気にせずにクエリを実行できるようにします。 SQL ユーザーは、SQL クエリエディターまたはノートブックを使用して、レイクハウス内のデータに対してクエリを実行できます。ノートブックは SQL に加えて Python、R、Scala をサポートしており、ユーザーは従来のダッシュボードで利用できるものと同じ視覚化を、マークダウンで記述されたリンク、画像、コメントとともに埋め込むことができます。

DevOps、CI/CD、タスクオーケストレーション

ETL パイプライン、ML モデル、アナリティクスダッシュボードの開発ライフサイクルには、それぞれ独自の課題があります。 Databricks を使用すると、すべてのユーザーが単一のデータソースを利用できるため、重複した作業や非同期レポートが削減されます。コードのバージョン管理、自動化、スケジュール設定、デプロイ、本番運用リソースのための一連の共通ツールを追加で提供することで、モニタリング、オーケストレーション、運用のオーバーヘッドを簡素化できます。ワークフローは、Databricks ノートブック、SQL クエリ、その他の任意のコードをスケジュールします。 Git フォルダーを使用すると、 Databricks プロジェクトを多くの人気のある Git プロバイダーと同期できます。ツールの完全な概要については、「開発者ツールとガイダンス」を参照してください。

リアルタイム分析とストリーミング分析

Databricksでは、Apache Spark構造化ストリーミングを利用して、ストリーミングデータと増分データ変更を扱っています。構造化ストリーミングはDelta Lakeと緊密に統合されており、これらのテクノロジーはDelta Live TablesとAuto Loaderの両方の基盤となっています。「Databricksでのストリーミング」を参照してください。