Magic ETLの機能強化

オブザーバビリティ

データパイプラインの内部をより詳細に可視化できます。Magic ETLの新しいオブザーバビリティ機能では、パフォーマンス、スキーマ変更、実行状況の詳細を確認でき、安心してデータフローの構築、デバッグ、最適化を行えます。

出力行のプレビュー

データがタイルからタイルへ変換される過程で、リアルタイムの行数をキャンバス上で直接確認できます。実行中またはプレビュー時に各アクションタイルの右下に表示され、データ品質の問題を迅速に特定できます。また、JOINによるデータ量の急増や想定外のフィルタリングを検知し、不正なデータが本番環境に到達する前に問題を確認できます。

DataFlowのバージョン管理

過去のDataFlowバージョンを読み取り専用で確認し、稼働中の本番データフローに影響を与えることなく、過去の設定やロジックを確認できます。DataFlow画面の「バージョン」タブから「バージョンを表示」を選択することで、過去の設定を参照し、パイプラインの変更履歴を並べて確認できます。

実行の詳細ヒートマップ

視覚的なパフォーマンスヒートマップと、実行時間への影響、行数の変化、処理時間などの指標から、リソース負荷の高いアクションを瞬時に特定できます。完了したDataFlowの「実行の詳細」ページから確認でき、影響度でフィルタリングすることで、ボトルネックや行数が急減した箇所をすばやく特定できます。

ユーザー設定の保持

グリッドラインのスタイル、表示オプション、レイアウト設定など、カスタマイズしたETLキャンバスの設定をすべてのDataFlowで自動保存し、毎回設定し直す手間をなくします。キャンバスの「設定」メニューから一度設定するだけで、以降は毎回、指定した設定で環境が開きます。

‍

カスタマイズ可能なキャンバス

ETLキャンバスを自由にカスタマイズできます。Magic ETLの新しい機能により、レイアウト、ナビゲーション、ビジュアルテーマを好みに合わせて設定でき、複雑なデータフローもよりスピーディーに、視覚的な煩雑さを抑えて構築・管理できます。

キャンバスのナビゲーション操作

クリック＆ドラッグやスクロールによるズーム機能を使って、複雑なETLワークフローをより正確に操作できます。キャンバスの設定ツールバーから直接利用でき、地図を操作するような直感的なナビゲーションを実現します。大規模なDataFlowでも、パン、ズーム、詳細確認をスムーズに行えます。

ウィンドウレイアウトのカスタマイズ

個々のツールパネルを自由に移動、サイズ変更、固定して、自分の好みに合わせてキャンバスをカスタマイズできます。上部のアクションバーにあるレイアウトマネージャーから利用でき、設定したワークスペースは自動保存されます。画面上の煩雑さを減らし、データパイプラインをよりスピーディーに構築できます。

ダークモード

長時間の作業による目の負担を軽減するため、コントラストの高いダークテーマにキャンバスを切り替えられます。ユーザー表示設定メニューから利用でき、ダークモード、ライトモード、システム設定への自動同期から選択できます。

‍

タイルの機能強化

目的に応じたタイルを活用して、データの変換・処理をより迅速に行えます。Magic ETLの最新のタイル機能強化では、ネイティブAIモデリング、柔軟なSQL出力、簡素化されたカラム管理などが追加され、複雑なロジックをキャンバス上で直接自動化できます。

新しいAIタイル

新しい感情分析タイル

顧客からのフィードバック、アンケート回答、サポートチケットなどを自動分析し、データパイプライン内でテキストの感情的なトーンを判定できます。Magic ETLのAIセクションから利用でき、ネイティブの生成AIを使って、コードや外部APIなしでテキストを「ポジティブ」「ネガティブ」「ニュートラル」に自動分類します。  

MagicETLのSentiment Analysis Tileについて詳しくは、こちらをご覧ください。

新しい分類タイル

ネイティブの生成AIモデルを使用して、構造化されていないテキストフィールドを、標準化されたタグ、カスタムカテゴリー、またはOne-Hot Encoding用のバイナリフラグに自動分類できます。キャンバス上のAIタイルメニューから利用でき、手作業による分類をなくし、大量のデータセットを分析や機械学習ですぐに利用できる形に整理します。

MagicETLのClassification Tileについて詳しくは、こちらをご覧ください。

新しい複数ステートメントSQLタイル

複数の入力DataSetを処理し、1つのタイルから複数の異なる出力ストリームを生成するカスタムSQLロジックを記述できます。Data Flowの「SQL Script」から利用でき、タイルの連結やデータの繰り返し処理が不要になるため、実行時間とキャンバスの複雑さを大幅に削減できます。

タイルをSQLに変換

標準的なMagic ETLタイルや、設定済みの複数のタイルアクションを、ワンクリックで読みやすいSQLスクリプトに変換できます。選択したタイルの右クリックメニューから利用でき、生成されたクエリロジックを確認しながら、ドラッグ＆ドロップで構築したタイルをカスタムSQLブロックへスムーズに移行できます。

列を選択タイルのアップデート

一括でのカラム選択、検索、動的フィルタリングに対応した新しいインターフェースで、データセットのスキーマ管理を効率化できます。「列を選択」タイルの設定画面から利用でき、カラム数の多いデータセットでも、複数のカラムを検索、選択、選択解除し、メタデータ属性をまとめて変更できます。

‍