BigQuery上のMagic ETL

‍

BigQuery向けMagic ETLプッシュダウン

このたび、GoogleBigQuery向けのMagicETLプッシュダウン機能がベータ版としてリリースされたことを、お知らせいたします。多くの皆様がDomo内でMagic ETLを使ってデータの移動や変換を行っていると思いますが、プッシュダウン機能はワークフローを視覚的に構築しつつ、その処理を直接BigQuery環境内で実行できるため、これまでの常識を変えるものです。

これにより、データはそのまま保持され、セキュリティが堅牢に保たれ、処理コストも最適化されます。この節目を祝して、BigQueryプッシュダウンの体験に2つの大きな強化機能を追加しました：

1) サブセット処理のサポート

Magic ETLを強化し、BigQuery出力に対する柔軟性とコントロール性を向上させました。これまでは「置換」方式に限定されていましたが、現在は「追加（Append）」「更新挿入（Upsert）」「パーティション（Partition）」の各オプションから選択でき、あなたのデータフローのニーズにより適した設定が可能です。

• 日次更新ですか？ 売上テーブルに1日分のデータだけを追加し、データセット全体を上書きする必要はありません。 ‍
• 大規模なデータセットを扱っていますか？ 日付ごとにデータをパーティション分割することで、先週のウェブサイトトラフィックなど特定期間のクエリを素早く実行でき、全データセットをスキャンする必要がなくなります。‍
• 過去のスナップショットを管理していますか？ 更新または挿入やパーティション分割を活用して、よりスマートで効率的な更新を行いましょう。

このアップデートにより、ワークフローの最適化、履歴データの保持、クエリ性能の向上を実現しながら、コスト削減も可能になります。サブセット処理のサポートは、現在BigQueryコンピュート連携向けのMagic ETL出力タイルでベータ版として利用可能です。

2) ネイティブSQL構文

Magic ETLのSQLタイルにネイティブSQL構文が追加され、高度なデータ変換がより柔軟になりました。この新機能は、ネイティブSQLの使用を好む、または独自のユースケースに合わせたSQLスクリプトをすでにお持ちの高度なBigQueryユーザーのニーズに応えるために設計されています。

ネイティブSQL構文を使えば、既存のSQLコードを再設計することなく、Magic ETL内でBigQueryネイティブのSQL構文を直接適用してデータを変換できます。BigQuery環境の制約に直面している場合や効率を最大化したい場合でも、この機能によりカスタム変換をシームレスに統合・実行することが可能です。

Pass-Through SQLオプションは、Magic ETLのSQLタイル内で利用可能となり、Magic ETL作成キャンバスの左側のツールバーに配置されます。このアップデートは、BigQuery対応のMagic ETLの一部としてベータ版で提供されます。

‍BigQueryをご利用の皆さまに、より柔軟な機能を提供できることを大変うれしく思うとともに、皆さまのワークフローがどのように向上するか楽しみにしています。