SQL DataFlowを最適化する

​

はじめに

​

インデックスを使用して最適化する

Select

a.`column1`,

a.`column2`,

b.`column3`,

b.`column4`

FROM input_dataset_1 a

LEFT JOIN input_dataset_2 b

ON a.`column1` = b.`column3`

1. 結合を実行する変換の前に新しいSQLタイプ変換を追加する。
2. 簡単な インデックス作成 を使用する。SQLを使用しなくても、表変換から1つ以上の列にすばやくインデックスを作成できます。

1. 新しい変換を追加します。
2. 変換タイプに［表］を選択します。
3. 次に、 ［インデックス作成中］ タブを選択します。
   
4. ［インデックスのタイプ］ を選択します。
5. インデックスを適用する列を選択します。
6. ［終了］ をクリックします。

​

その他の最適化

• DataFlowに取り込む列にフィルターを適用する。大規模なDataSetでは多数の列があり、不要な列が含まれる場合があります。 ［入力DataSet］ セクションのDatSetをクリックすると、DataFlowに取り込まれる列を制限できます。
• データにフィルターを適用する。最も一般的な方法は、データフィルターを使用する方法です。例： “ SELECT date, value, series FROM input_dataset_1 WHERE YEAR(date) = YEAR(CURRENT_DATE()) “
• GROUP BY 機能を利用する。データにフィルターを適用するときに、元のデータで別の列に分割されているため、行が重複することがあります。値列を集計してから残りの列に GROUP BY を適用すると、行数をまとめることができます。最も一般的な集計は SUM です。次に例を示します。 “ SELECT Date, Series, SUM(value) AS ‘value’ FROM input_dataset_1 GROUP BY Date, Series “
• 複数の JOIN の変換がある場合は、それらを複数の変換に分割できます。例： “ SELECT a.column,a.column4, b.column2,b.column5,c.column6, c.column3 FROM input_dataset_1 LEFT JOIN input_dataset_2 b ON a.column4 = b.column2 LEFT JOIN input_dataset_3 c ON b.column5 = c.column3 “
• 変換を2つの変換に分割することもできます。例： Transform 1 “ SELECT a.column,a.column4, b.column2,b.column5 FROM input_dataset_1 LEFT JOIN input_dataset_2 b ON a.column4 = b.column2 “ Transform 2 “ SELECT a.column,a.column4, a.column2,a.column5,c.column6, c.column3 FROM transform_data_1 a LEFT JOIN input_dataset_3 c ON a.column5 = c.column3 “