はじめに
Amazon S3は、Amazon Web Servicesが提供するオンラインファイルストレージのウェブサービスです。ウェブを使用していつでも、どこからでも、どんな量のデータも保存および取得することができます。Amazon S3 APIの詳細については、製品ページ（ http://docs.aws.amazon.com/AmazonS3/…I/Welcome.html ）を参照してください。 Amazon S3コネクターとAmazon S3 Advancedコネクターは、ほぼ同じです。唯一の違いは、コネクターの ［詳細］ セクションで指定したプレフィックス文字列で始まる複数のファイルの処理方法です。標準のAmazon S3コネクターでは、変更された最新のファイルのみインポートされます。Amazon S3 Advancedコネクターでは、同じプレフィックスのファイルは同じスキーマを使用するという前提で、指定したプレフィックスを持つすべてのファイルがインポートされます。ただし、Amazon S3 Advancedコネクターは、最後の実行以降に変更されたファイルまたは最初の実行後に作成された新規ファイルのみを取得します。このコネクターのAdvancedバージョンの詳細については、「 Amazon S3 Advancedコネクター 」を参照してください。 Amazon S3コネクターは「ファイル」コネクターです。つまり、ファイルを取得してDomoに出力します。Data Centerでこのコネクターやほかのファイルコネクターのページにアクセスするには、ウィンドウ上部のツールバーで ［ファイル］ をクリックします。 Amazon S3のアカウントには、Data Centerから接続します。このトピックでは、Amazon S3コネクターのユーザーインターフェースに固有のフィールドとメニューについて説明します。DataSetの追加や更新スケジュールの設定、DataSet情報の編集に関する一般的な情報は、「 コネクターを使用してDataSetを追加する 」を参照してください。主な使用事例 | このコネクターは、APIが使用できない状況でフラットファイルを取得するための最善の方法です。 |
主なメトリクス | 該当なし |
社内における主な権限 |
|
平均導入時間 | S3に適切なタイプのファイルがあれば1時間以内 |
使いやすさ（1～10の段階。1が「最も使いやすい」） | 4 |
ベストプラクティス
S3に保存されたデータや、ほかのS3データベースとの関係を理解していると、このコネクターを使用する上で大変役立ちます。必要条件
Amazon S3アカウントに接続してDataSetを作成するには、以下が必要です。- AWSアクセスキー。これは、AWSコンソールの ［Security Credentials］ セクションで確認できます。または、IAMを使用している場合は、 ［Users］ の中にもあります。
- AWSアクセスキーの作成時に取得したAWSシークレットキー。新しいシークレットキーは、AWSコンソールで生成することができます。
- ファイルを取得したいAWS S3バケットの名前。
適切な許可が付与されたユーザーを作成する
DomoでS3データに接続する前に、IAM Amazonコンソールで適切な権限を有するユーザーを作成する必要があります。 IAM Amazonコンソールでユーザーを設定するには：-
新規ユーザーを追加し、以下のオプションを設定します。
-
［Details］
ペインの ［Select AWS access type］ で ［Programmatic Access］ のボックスをチェックします。
-
［Permissions］
ペインで、 ［Attach existing policies directly］ を選択し、 ［AmazonS3FullAccess］ または ［AmazonS3ReadOnlyAccess］ のボックスをチェックします。
カスタマー管理ポリシーは 使用できません 。
- ［Review］ ペインで、 ［Create User］ をクリックします。
-
［Details］
ペインの ［Select AWS access type］ で ［Programmatic Access］ のボックスをチェックします。
- ユーザーを作成したら、使用するアクセスキーとシークレットキーをコピーし、Domoの ［認証情報］ ペインに入力します。
Amazon S3アカウントに接続する
このセクションでは、Amazon S3コネクターページの ［認証情報］ ペインおよび ［詳細］ ペインのオプションについて説明します。このページのほかのペインの項目である ［スケジュール設定］ や ［DataSetに名前を付け、説明を入力］ に関しては、ほとんどのタイプのコネクターで共通しています。詳細については、「 コネクターを使用してDataSetを追加する 」を参照してください。［認証情報］ペイン
このペインには、Amazon S3アカウントにアクセスするための認証情報を入力するフィールドがあります。下表では、各フィールドに必要な内容を説明しています。フィールド | 説明 |
|---|---|
| Access Key | AWSアクセスキーを入力します。アクセスキーを検索する方法については、上述の「必要条件」を参照してください。 |
| Secret Key | AWSシークレットキーを入力します。シークレットキーを検索する方法については、上述の「必要条件」を参照してください。 |
| Bucket | ファイルを取得したいAmazon S3バケットを入力します。 |
| S3 Bucket Region | ファイルがあるS3バケットリージョンを選択します。 |
［詳細］ペイン
このペインには、Domoに取得したいファイルを検索し、設定するための様々なメニューがあります。メニュー | 説明 | ||||||
|---|---|---|---|---|---|---|---|
What file type would you like to import? | Domoにインポートしたいファイルのタイプを、CSV、JSON、XML、Excel、TSV、TXTから選択します。 | ||||||
How Would You Like to Choose Your Filename? | Domoがファイルを識別する方法を選択します。オプションは以下の通りです。
| ||||||
Prefix（オプション） | 結果にフィルターを適用するためのプレフィックスを入力します。プレフィックスにより、指定したプレフィックスで始まるキーのみに結果が絞り込まれます。この標準バージョンのコネクターでは、変更された最新のファイルのみがインポートされます。Advancedバージョンのコネクターでは、同じプレフィックスを持つすべてのファイルが取得されます。これは、同じプレフィックスを持つファイルは同じスキーマを使用することを前提としているためです。詳細については、「 Amazon S3 Advancedコネクター 」を参照してください。 | ||||||
| S3 Path Helper | S3 Path Helper に入力するプレフィックス値を入力します。 | ||||||
Enter Complete Filepath | 使用するファイルの完全パスを入力します。 | ||||||
File Name | インポートしたいファイル名を入力します。ファイルパスはあってもなくても構いません。例： folder_name/file_name | ||||||
File Name Match Type | 取得したいファイルの名前が、 ［File Name］ で入力したテキストで始まる名前なのか、それとも入力したテキストを含む名前なのかを指定します。 | ||||||
File Compression Type | 取得するファイルの圧縮タイプを選択します。ファイルが圧縮されていない場合は、 ［None］ を選択します。 | ||||||
Are Headers Present in CSV File? | インポートするCSVファイルにヘッダーがある場合、 ［Yes］ を選択します。ない場合は、 ［No］ を選択します。 | ||||||
List of Files | 取得したいファイルを選択します。 | ||||||
Select the Delimiting Character | 取得したいCSVファイルで使用されている区切り文字を選択します。区切り文字がリストにない場合は、 ［Other］ を選択します。 | ||||||
Quote Character | 取得したいCSVファイルを解析する引用文字を選択します。CSVの標準は二重引用符（“）です。 | ||||||
Escape Character | 取得したいCSVファイルを解析するエスケープ文字を選択します。CSVの標準はバックスラッシュ（\）です。 | ||||||
| Add Filename Column | BATCH_FILE_NAME 列を最終出力に追加するかどうかを指定します。 | ||||||
| File Encoding | 適切なファイルのエンコーディングを選択します。デフォルトでは、エンコーディングは UTF-8 に設定されています。 | ||||||
| Use Previous Schema（Appendモード） | このチェックボックスをオンにすると、DataSetの後続の実行で前のスキーマが使用されます（ Append モードにのみ該当）。選択されていない場合、前のスキーマは使用されません。 | ||||||
Enable Parsing for Large JSON Files? | 大きなJSONファイルの解析を有効にするかを指定します。 | ||||||
Does Your JSON Text Require a Line Reader? | JSONファイルのテキストで、複数の行を読み込む必要があるかを指定します。 | ||||||
Should the Backslash be Escaped? | JSONファイルのテキストに、エスケープする必要のあるバックスラッシュが含まれているかを指定します。 | ||||||
Enter Your Data Tag | JSONまたはXMLファイルのデータのタグを入力します。 | ||||||
Enter Fields to Exclude | JSON/XMLのインポートで除外したいフィールドを、カンマで区切ったリストとして指定します。 | ||||||
Enter Your Header Tag | JSONまたはXMLファイルのヘッダーのタグを入力します。 | ||||||
Do You Require Attributes in Data? | XMLデータの一部として属性値を必要とするかを指定します。 | ||||||
Enter XPath Expression | XPath式を入力します。 | ||||||
Is Password Protected? | 取得するファイルがパスワードで保護されている場合は、 ［Yes］ を選択します。保護されていない場合は、 ［No］ を選択します。 | ||||||
Header Start Row | 取得するExcelファイルのヘッダー行の番号を入力します。 | ||||||
Data Start Row | 取得するExcelファイルの最初のデータ行の番号を入力します。 | ||||||
Footer | 取得するExcelファイルのフッター行の番号を入力します。 | ||||||
Blank Rows | 空白行が見つかった場合に取るべきアクションを選択します。 ［Skip blank rows］ を選択すると、空白行がスキップされます。 ［Stop at the first blank column］ を選択すると、空白行が見つかった列でインポートが停止します。 | ||||||
Empty Column Headers | 空白の列ヘッダーが見つかった場合にどうするかを指定します。 ［Add blank columns］ を選択した場合、新規の列には列名が自動的に生成されます。 ［Stop at the first blank column］ を選択した場合、空白のヘッダーが見つかったときに、データのインポートが停止します。 | ||||||
Convert Data Type of Columns Containing Leading 0’s to String | 先頭が0である列のデータタイプを文字列に変換する場合は、このチェックボックスをオンにします。このチェックボックスがオフの場合、先頭の0は列から切り捨てられ、データタイプは新しいデータタイプに更新されます。 |
その他のペイン
スケジュール設定、再試行、更新オプションなど、その他のコネクターインターフェースのセクションの詳細については、「 コネクターを使用してDataSetを追加する 」を参照してください。トラブルシューティング
- S3バケットにファイルが存在しており、コネクターの設定で正しいファイルタイプが指定されていることを確認します。
- コネクターが正常にデータを取得できるよう、NULL列を削除しておく 必要があります。
- CSVファイルをインポートしようとして「Failed to Import Successfully」というエラーが発生した場合は、 ［Quote Character］ メニューのオプションを ［No Quote Character］ に変更することによって回避できることがあります。
よくある質問
# データはどのくらいの頻度で更新できますか？
# データはどのくらいの頻度で更新できますか？
# 同一のAmazon S3アカウントを複数のDataSetに使えますか？
# 同一のAmazon S3アカウントを複数のDataSetに使えますか？
# 注意すべきAPI制限はありますか？
# 注意すべきAPI制限はありますか？
# コネクターがデータを引き込めないのはなぜですか？
# コネクターがデータを引き込めないのはなぜですか？
# 標準のAmazon S3コネクターとAdvancedバージョンとの違いは何ですか？
# 標準のAmazon S3コネクターとAdvancedバージョンとの違いは何ですか？