メインコンテンツへスキップ

はじめに

Cloud Amplifierでは、Databricksを使用してDomoインスタンスを稼働させることができます。このガイドは、Databricksに精通しているユーザーを対象としており、読み取り専用および読み取り/書き込み統合のためにDatabricksをCloud Amplifierに登録する方法について説明しています。 選択した設定プロセスが完了したら、Databricksから読み込まれた仮想テーブルを使用して、カードを作成したり、アラートを設定したり、Magic ETL DataFlowで入力として使用したりすることが可能になります。

構造的な概要

databricks architectural overview.jpg

必要条件

Databricks接続を設定する前に、次の手順を完了することを強く推奨します。
  • (推奨)Databricksサービスアカウントを作成する — この統合専用の新しいDatabricksアカウントを作成することを推奨します。Databricksでは、読み取りアクセス権を持つ任意のアカウントを使用できますが、サービスアカウントを使用するのがベストプラクティスです。DomoでDatabricks仮想テーブルを作成するには、このアカウントにデフォルトのDatabricks環境への読み取りアクセス権が必要です。
  • (推奨)Domoサービスアカウントを作成する — この統合専用の新しいDomoアカウントを作成することを推奨します。アカウントのカスタマイズされた権限で、「クラウドアカウントを管理」および「DataSetを管理」の許可が有効になっている必要があります。Databricks-Cloud Amplifier接続でのOAuthの使用の詳細については、「 個人用アクセストークンを使用するDatabricks 」を参照してください。
権限と許可の詳細については、「 カスタマイズされた権限を管理する 」を参照してください。 このページのトップへ

読み取り専用設定

Cloud Amplifierを使用してDomo内からDatabricksテーブルへの読み取り専用アクセス権を設定するには、次の手順に従います。
  1. Domoサービスアカウントにログインします。
  2. [Data Warehouse] に進みます。
  3. [新しいクラウドアカウントを追加] を選択します。 [新しい統合]モーダルが表示されます。
  4. モーダルの [ネイティブ統合] で、 [Databricks] を選択します(Databricksが表示されない場合は [詳細を見る] を選択して可能なすべての統合を表示します)。
    choose databricks.jpg
  5. [+新しい統合を追加] を選択します。既存の統合がほかにある場合、このオプションはリストの一番下に表示されます。
    add new integration.jpg
  6. モーダルのフィールドに入力します。各画面で [次へ] を選択すると、モーダルを移動できます
    1. [統合名] および [統合の説明] フィールドに名前とオプションの説明を入力します。
    2. Databricksアカウントで個人用アクセストークンを作成します。ページを離れた後ではトークンを回復できないため、レコードのトークンをコピーします。
    3. 統合モーダルの [Databricksの個人用アクセストークン] フィールドにトークンをペーストします。
    4. DatabricksでDatabricks接続URLを見つけます。(Databricksで [SQL Warehouses] >{ ウェアハウス名 }> [Connection details] に進みます)。
      注記: URLにプロトコル識別子を含めないでください。例えば「 jdbc:databricks:// 」は適切で、「 jdbc:spark:// 」はサポートされていません。
    5. JDBC URLをコピーし、統合モーダルの [Databricks接続URL] フィールドに貼り付けます。
      Screenshot 2024-10-10 at 10.45.07 AM.png
  7. データの鮮度設定を行います。データの鮮度に関するスケジュールの詳細設定については、こちら を参照してください。
これで設定が完了しました。必要に応じてDatabricksテーブルを選択してDomoに接続するには、以下の手順に従います。 このページのトップへ

DomoにDatabricksテーブルを追加する

次のプロセスはオプションです。
  1. 読み取り専用統合を設定したら、[Choose Tables to Connect] を選択します。
    choose tables.jpg
  2. DomoでDataSetを作成するのに使用するDatabricksスキーマとテーブルを検索して選択します。
  3. [DataSetを作成] を選択します。
    schemas and tables.jpg
DatabricksからCloud Amplifierへの読み取り専用統合の設定が完了しました。 このページのトップへ

書き込み設定

このセクションの手順を進める前に、以下の必要条件を満たしてください。

必要条件

  • DatabricksインスタンスでUnity Catalogを有効にします。有効化の手順については、こちら を参照してください
  • 以下のDatabricksユーザーのDatabricks権限を取得します。
    • ストレージ認証情報を作成
    • カタログを作成
    • 外部ロケーションを作成

読み取り専用統合を読み取り/書き込み統合に変換する

  1. Domoインスタンスで [Data Warehouse] に移動し、 [クラウド接続を管理] を選択して統合モーダルを開きます。
    manage cloud connections databricks.jpg
  2. モーダルの [ネイティブ統合] で、 [詳細を見る] > [Databricks] を選択します。 既存のDatabricks統合のリストが表示されます。
  3. 読み取り/書き込み統合にアップグレードする既存の読み取り専用統合を見つけます。統合行にカーソルを合わせて、 [オプション] (レンチアイコン)> [書き込みアクセスを設定] を選択します。 各手順を完了するごとに [次へ] を使用してモーダルを移動します。
    configure write access.jpg
  4. モーダルで、ラベル付きフィールドにDatabricksの書き込みカタログ名を入力します。
    enter catalog name.jpg
  5. [検証] を選択してカタログ名を確認し、そのカタログに属するスキーマのリストを読み込みます。
    validate catalog.jpg
  6. カタログを検証した後、[スキーマ] ドロップダウンからスキーマを選択します 。
    choose schema.jpg
  7. 画面上の指示に従ってストレージ認証情報を作成し、[STORAGE_AWS_EXTERNAL_ID] フィールドに入力します。
    new storage credential.jpg
  8. 画面上の指示に従って、外部ロケーション を作成します。
    create external locations.jpg
  9. [書き込み統合を確定する] の画面上で、DomoがDatabricks環境に変更を加えられることを理解していることを確認します。
    finalize write integration.jpg
    成功メッセージが表示されます。
  10. [アカウントのリストに戻る] を選択して、読み取りと書き込みのアクセスが設定された統合を表示します。
    read and write access.jpg
Magic ETL DataFlowの出力をDatabricksに書き戻すなど、Domo全体で書き込み統合を使用できるようになりました。

Databricksから供給されたDataSet

Databricksから供給されたDataSetをDataFlowで使用すると、フローの開始時にDatabricksがそのデータをライブでクエリします。また、Databricksから供給されたDataSetは、テーブルの LAST_ALTERED の日時にもとづいて15分ごとに更新がチェックされます。最後にチェックした後にテーブルが更新された場合、このテーブルをトリガーとして使用するDataFlowが開始されます。 このページのトップへ