Magic ETL v2のスクリプティングタイル環境

​

はじめに

​

Magic ETL v2でサポートされているデフォルトのライブラリ

​

Python

• absl-py 1.0.0 - Abseil Python共通ライブラリ
• asn1crypto 1.5.1 - 秘密鍵、公開鍵、証明書、CRL、OCSP、CMS、PKCS#3、PKCS#7、PKCS#8、PKCS#12、PKCS#5、X.509、TSPを定義した高速なASN.1パーサーとシリアライザー
• astor 0.8.1 - Python ASTの読み取り/書き換え/書き込み
• blinker 1.4 - 高速でシンプルなオブジェクト間およびブロードキャスト通知
• certfi 2021.10.8 - MozillaのCAバンドルを提供するためのPythonパッケージ
• cookies 2.2.1 - より使いやすいRFC6265準拠のcookieパーサー/レンダラー
• cryptography 36.0.2 - cryptographyは、Python開発者に暗号化レシピとプリミティブを提供するパッケージ
• decorator 5.1.1 - デコレーターでPythonがより快適に
• domomagic 0.3 - Domo Magic ETLとPythonの連携
• fuzzywuzzy 0.18.0 - Pythonでのファジー文字列マッチング
• gast 0.4.0 - 基盤となるPythonバージョンを抽象化するPython AST
• grpcio 1.42.0 - HTTP/2ベースのRPCフレームワーク
• h5py 3.6.0 - PythonからHDF5ファイルを読み書き
• idna 3.3 - アプリケーションにおける国際化ドメイン名（IDNA）
• joblib 1.1.0 - 軽量パイプライン化：Python関数をパイプラインジョブとして使用
• keras 2.7.0 - 人工ニューラルネットワークTensorFlowライブラリのインターフェースとして機能
• Markdown 3.3.6 - MarkdownのPython実装
• nltk 3.6.7 - 自然言語ツールキット
• numpy 1.22.3 - NumPy：数値、文字列、レコード、オブジェクトの配列処理
• pandas 1.4.1 - データ分析、時系列、統計のための強力なデータ構造
• patsy 0.5.2 - 統計モデルの記述や設計マトリクスの構築のためのPythonパッケージ
• Pillow 9.0.1 - Python画像処理ライブラリ（Fork）
• protobuf 3.19.4 - プロトコルバッファ
• python-dateutil 2.8.2 - Python標準のdatetimeモジュールの拡張機能
• python-Levenshtein 0.12.2 - 文字列編集の距離と類似性を計算するためのPython拡張
• pytz 2022.1 - 世界タイムゾーンの定義、最新および過去
• requests 2.27.1 - 使いやすいHTTPライブラリ
• scikit-learn 1.0.2 - 機械学習とデータマイニング用のPythonモジュールセット
• scipy 1.8.0 - SciPy：Python用科学ライブラリ
• scour 0.38.2 - Scour SVG Optimizer
• six 1.16.0 - Python 2および3の互換ユーティリティ
• sklearn-pandas 2.2.0 - Pandasとsklearnの連携
• tensorboard 2.6.0 - TensorBoardによりTensorFlowの監視が可能
• tensorflow 2.7.0 - TensorFlowは誰もが利用できるオープンソースの機械学習フレームワーク
• termcolor 1.1.0 - 端末に出力するためのANSIカラーフォーマット
• torch 1.11.0 - 強力なGPUアクセラレーションによるPythonでのTensorとダイナミックニューラルネットワーク
• torchvision 0.12.0 - トーチディープラーニングのための画像/動画データセットとモデル
• twython 3.9.1 - 積極的にメンテナンスされているTwitter API用の純粋なPythonラッパー。通常のTwitter APIとストリーミングTwitter APIの両方をサポート
• urllib3 1.26.9 - スレッドセーフな接続プール、ファイルポストなどを備えたHTTPライブラリ
• Werkzeug 2.0.3 - 包括的なWSGIウェブアプリケーションライブラリ
• xgboost 1.5.1 - スケーラブルな分散型勾配ブースティング決定木（GBDT）機械学習ライブラリ

​

R

• abind 1.4-5 - 多次元配列を結合
• acepack 1.4.1 - 回帰変換を選択するためのace()およびavas()
• AER 1.2-9 - Rを用いた応用計量経済学
• arm 1.12_2 - 回帰およびマルチレベル/階層を用いたデータ分析
• arules 1.7_3 - 相関ルールおよび頻出アイテムセットのマイニング
• assertthat 0.2.1 - 簡単なプリアサーションとポストアサーション
• backports 1.4.1 - R-3.0.0以降に導入された関数の再実装
• base64enc 0.1-3 - base64エンコード用ツール
• base 4.1.2 - Rベースパッケージ（プリロードおよびアタッチメントパッケージ）
• Boruta 7.0.0 - 関連するすべての特徴選択ラッパーアルゴリズム
• BH 1.78.0-0 - Boost C++ヘッダーファイル
• bindrcpp 0.2.2 - アクティブなバインディングの「Rcpp」インターフェース
• bindr 0.1.1 - パラメーター化されたアクティブなバインディング
• bit64 4.0.5 - 64ビット整数のベクトル用S3クラス
• bit 4.0.4 - 1ビットブーリアンのベクトル用クラス
• bitops 1.0-7 - ビット演算
• blob 1.2.2 - バイナリデータのベクトルを表現するシンプルなS3クラス
• boot 1.3-28 - ブートストラップ関数（オリジナルはAngelo CantyによるS向け）
• brew 1.0-7 - レポート生成用テンプレートフレームワーク
• broom 0.7.12 - 統計解析オブジェクトをTidy Tibbleに変換
• car 3.0_12 - 応用回帰のコンパニオン
• caret 6.0-91 - 分類および回帰トレーニング
• caTools 1.18.2 - ツール：Moving Window統計、GIF、Base64、ROC AUCなど。
• CerioliOutlierDetection 1.1.9 - Cerioliの反復RMCD法を用いた外れ値検出
• checkmate 2.0.0 - 高速で汎用性の高い引数チェック
• chron 2.3-52 - 日付と時刻を扱える時系列オブジェクト
• class 7.3-20 - 分類用関数
• cli 3.2.0 - コマンドラインインタフェースを開発するためのヘルパー
• cluster 2.1.2 - データのグループ化：Cluster Analysis Extended Rousseeuw et
• coda 0.19-4 - MCMCの出力分析および診断
• codetools 0.2-18 - R用コード解析ツール
• coin 1.4_2 - 並べ替え検定フレームワークの条件付き推論手順
• colorspace 2.0_3 - カラースペースの操作
• commonmark 1.8.0 - CommonMarkとGithub MarkdownのハイパフォーマンスなレンダリングをRで実行
• corpcor 1.6.10 - 共分散および（部分的な）相関の効率的な推定
• crayon 1.5.0 - ターミナル出力へのカラー出力
• Cubist 0.4.0 - ルールおよびインスタンスベースの回帰モデリング
• curl 4.3.2 - R向けの最新かつ柔軟なウェブクライアント
• CVST 0.2-3 - 逐次解析による高速なクロスバリデーション
• cvTools 0.3.2 - 回帰モデル用クロスバリデーションツール
• data.table 1.14.2 - data.frameの拡張機能
• DBI 1.1.2 - Rデータベースインターフェース
• ddalpha 1.3.12 - 深度ベースの分類とデータ深度の計算
• DEoptimR 1.0-10 - Pure Rの差分進化最適化
• DMwR 0.4.1 - Luis Torgo著『Data Mining with R, learning with case studies』CRC Press 2010に付属する関数およびデータ
• desc 1.4.1 - DESCRIPTIONファイルの操作
• dichromat 2.0-0 - Dichromat用カラースキーム
• digest 0.6.29 - Rオブジェクトのコンパクトハッシュダイジェストを作成
• dimRed 0.2.5 - 次元削減のためのフレームワーク
• diptest 0.76_0 - ハーティガンの単峰形のためのディップ検定統計量 - 修正版
• domomagic 0.4 - Domo Magic ETLとRの連携
• dplyr 1.0.8 - データ操作の文法
• DRR 0.0.4 - 回帰による次元削減
• dummies 1.5.6 - ダミー/指標変数を柔軟かつ効率的に作成
• e1071 1.7_9 - 統計学、確率論の部門の多様な関数
• evaluate 0.15 - デフォルトよりも詳細な情報を提供する解析および評価ツール
• fansi 1.0.2 - ANSI制御シーケンスを認識する文字列関数
• flexclust 1.4_0 - 柔軟なクラスターアルゴリズム
• flexmix 2.3-17 - 柔軟なミクスチャモデリング
• foreach 1.5.2 - Rのforeachループ構造を提供
• forecast 8.16 - 時系列および線形モデルの予測関数
• forcats 0.5.1 - カテゴリー変数を操作するためのツール
• foreign 0.8-82 - 「Minitab」、「S」、「SAS」、「SPSS」、「Stata」、「Systat」、「Weka」、「dBase」などによって保存されたデータの読み込み
• Formula 1.2-4 - 拡張モデル式
• fpc 2.2_9 - クラスタリングのための柔軟な手順
• fracdiff 1.5_1 - 分数差分ARIMA（別名：ARFIMA(p,d,q)モデル）
• gains 1.2 - 予測アルゴリズムのためのゲインテーブルとリフトチャートを作成
• gbm 2.1.8 - 一般化ブースト回帰モデル
• gdata 2.18.0 - データ操作用の各種Rプログラミングツール
• GGally 2.1.2 -「ggplot2」への拡張
• ggplot2 3.3.5 - グラフィックの文法を使用してエレガントなデータの可視化を作成
• git2r 0.30.1 - Gitリポジトリへのアクセスを提供
• glmnet 4.1_2 - LassoおよびElastic Netによる正規化された一般化線形モデル
• glue 1.6.2 - 解釈された文字列リテラル
• Gmedian 1.2.6 - 幾何学的中央値、k中央値クラスタリング、およびロバストメディアン主成分分析（PCA）
• gower 1.0.0 - Gower距離
• gridExtra 2.3 - グリッドグラフィックのための各種関数
• gtable 0.3.0 - テーブルで「Grobs」を配列
• gtools 3.9.2 - 各種Rプログラミングツール
• highr 0.9 - Rソースコードのシンタックスハイライト
• Hmisc 4.6_0 - Harrellその他
• hms 1.1.1 - 見やすい時間表示
• htmlTable 2.4.0 - Markdown/HTML用の高度なテーブル
• htmltools 0.5.2 - HTML用ツール
• htmlwidgets 1.5.4 - R用HTMLウィジェット
• httr 1.4.2 - URLとHTTPを操作するツール
• hunspell 3.0.1 - 高性能ステマー、トークナイザー、およびスペルチェッカー
• ipred 0.9-12 - 改善された予測因子
• ISOcodes 2022.01.10 - 選択されたISOコード
• iterators 1.0.14 - R用のiterator構造体を提供
• janeaustenr 0.1.5 - ジェーン・オースティン小説全集
• janitor 2.1.0 - ダーティデータを検査してクリーニングするためのシンプルな関数
• jsonlite 1.8.0 - R用の堅牢で高性能なJSONパーサーとジェネレーター
• kernlab 0.9-29 - カーネルベースの機械学習ラボ
• KernSmooth 2.23-20 - Wand & Jones（1995）をサポートするカーネルスムージング関数
• KMsurv 0.1-5 - Klein and Moeschberger（1997）生存率分析のデータセット
• knitr 1.37 - Rによる動的レポート生成用の汎用パッケージ
• labeling 0.4.2 - 軸のラベル付け
• laeken 0.5.2 - 社会的排除と貧困に関する指標の推計
• lattice 0.20-42 - R用トレリスグラフィックス
• latticeExtra 0.6-29 - ラティスにもとづく追加のグラフィカルユーティリティ
• lava 1.6.10 - 潜在変数モデル
• lazyeval 0.2.2 - Lazy（非標準）評価
• leaps 3.1 - 回帰サブセット選択
• littler 0.3.15 -「r」を使ってコマンドラインでRを実行
• lme4 1.1-28 -「Eigen」とS4を使用した線形混合効果モデル
• lmtest 0.9-40 - 線形回帰モデルのテスト
• lubridate 1.8.0 - 日付の処理を若干簡易化
• magrittr 2.0.2 - R用フォワードパイプ演算子
• maptools 1.1_3 - 空間オブジェクトを扱うツール
• markdown 1.1 - Rのための「マークダウン」レンダリング
• MASS 7.3-55 - VenablesおよびRipleyのMASSの関数とデータセットをサポート
• matrixcalc 1.0-5 - 行列計算のための関数集
• Matrix 1.4_0 - スパースおよびデンス行列のクラスと方法
• MatrixModels 0.5_0 - スパースおよびデンス行列を用いたモデリング
• maxLik 1.5_2 - 最尤推定および関連ツール
• mclust 5.4.9 - モデルベースのクラスタリング、分類、密度推定のためのガウス混合モデリング
• mcmc 0.9-7 - マルコフ連鎖モンテカルロ
• MCMCpack 1.6_1 - マルコフ連鎖モンテカルロ（MCMC）パッケージ
• memoise 2.0.1 - 関数のメモリ化
• mice 3.14.0 - 連鎖方程式による多変量インピュテーション
• mi 1.0 - 欠測データのインピュテーションとモデル検査
• mime 0.12 - ファイル名とMIMEタイプの対応付け
• minqa 1.2.4 - 二次関数による導関数なし最適化アルゴリズム
• miscTools 0.6-26 - その他のツールとユーティリティ
• mitools 2.4 - 欠測データの多重インピュテーションのためのツール
• mlbench 2.1-3 - 人工知能や現実世界の機械学習のベンチマーク問題コレクション
• mlogit 1.1_1 - 多項ロジットモデル
• mnormt 2.0.2 - 多変量正規分布およびt分布
• ModelMetrics 1.2.2.2 - モデルメトリクスの迅速な計算
• modeltools 0.2-23 - 統計モデルのツールとクラス
• moments 0.14 - モーメント、キュムラント、歪度、尖度、および関連検査
• multcomp 1.4-18 - 一般パラメトリックモデルにおける同時推定
• munsell 0.5.0 - マンセルカラーを使用するためのユーティリティ
• mvoutlier 2.1.1 - ロバスト法にもとづく多変量外れ値検出法
• mvtnorm 1.1_3 - 多変量正規分布およびt分布
• NADA 1.6-1.1 - 環境データの非検出とデータ分析
• naivebayes 0.9.7 - ナイーブベイズアルゴリズムの高性能実装
• neuralnet 1.44.2 - ニューラルネットワークのトレーニング
• nlme 3.1-155 - 線形および非線形混合効果モデル
• nloptr 1.2.2.3 - R NLoptへのインターフェース
• NLP 0.2_1 - 自然言語処理基盤
• nnet 7.3-17 - フィードフォワードニューラルネットワークおよび多項対数線形モデル
• numDeriv 2016.8-1.1 - 正確な数値誘導体
• openssl 2.0.0 - OpenSSLにもとづく暗号化、署名、証明書のためのツールキット
• outliers 0.14 - 外れ値に関するテスト
• party 1.3-9 - 再帰的パーティショニングのためのラボ
• pbkrtest 0.5.1 - パラメトリックブートストラップおよびKenward-Rogerベースの混合メソッド
• pcaPP 1.9-74 - 射影追求法によるロバストPCA
• penalized 0.9-51 - L1（LassoおよびFused Lasso）およびL2（Ridge）ペナルティ付き推計
• pillar 1.7.0 - 列の色付き書式
• pkgconfig 2.0.3 -「R」パッケージのプライベート構成
• pkgKitten 0.2.2 - Rのパッケージチェックを混乱させないシンプルなパッケージを作成
• plogr 0.2.0 -「plog」C++ログライブラリ
• pls 2.8-0 - 部分的最小二乗および主成分回帰
• plyr 1.8.6 - データの分割、適用、結合のためのツール
• pmml 2.5.2 - 予測モデルマークアップ言語のサポート
• polspline 1.1.19 - 多項式スプラインルーチン
• prabclus 2.3_2 - プレゼンス/アブセンス（存在/不在）、豊富さ、多遺伝子座汎用データのクラスタリングのための関数
• praise 1.0.0 - ユーザーを称賛
• prettyunits 1.1.1 - きれいに整った、人が読める数量フォーマット
• prodlim 2019.11.13 - 検閲されたイベントの履歴解析のための積率推定法
• progress 1.2.2 - ターミナルプログレスバー
• pryr 0.1.5 - 言語に関するコンピューティングのためのツール
• psych 2.2.3 - 心理学、心理測定、パーソナリティに関する手順
• purrr 0.3.4 - 関数型プログラミングツール
• quadprog 1.5-8 - 二次計画問題を解くための関数
• quantmod 0.4.18 - 定量的な財務モデリングフレームワーク
• quantreg 5.88 - 分位点回帰
• R6 2.5.1 - 参照セマンティクスを持つクラス
• randomForest 4.6-14 - 分類および回帰のためのBreimanとCutlerのランダムフォレスト
• randomForestSRC 3.0.2 - 生存、回帰、分類のためのランダムフォレスト
• RColorBrewer 1.1-2 - ColorBrewerパレット
• RcppArmadillo 0.10.8.1.0 -「Armadillo」テンプレート化された線形代数のための「Rcpp」積分
• Rcpp 1.0.8.3 - RとC++のシームレスな統合
• RcppEigen 0.3.3.9.1 -「Rcpp」統合による「Eigen」テンプレート化線形代数
• RcppRoll 0.3.0 - 効率的なローリング/ウィンドウ操作
• rcurl 1.98_1.6 - RCurl
• recipes 0.2.0 - 設計マトリクスを作成する前処理ツール
• rebus 0.1_3 - 正規表現ビルダー
• REEMtree 0.90.4 - 縦断的（パネル）に対するランダム効果付き回帰ツリー
• ROCR 1.0-11 - カットオフパラメーター化された2Dパフォーマンス曲線を作成するツール
• ROSE 0.0-4 - 不均衡なクラスが存在する場合の二値分類問題に対処するための関数
• relaimpo 2.2-6 - 線形モデルにおける回帰因子の相対的な重要性
• reshape2 1.4.4 - 柔軟なデータのリシェイプ：リシェイプパッケージのリブート
• reshape 0.8.8 - 柔軟なデータのリシェイプ
• rgeos 0.5_9 - ジオメトリエンジンへのインターフェース - オープンソース（GEOS）
• rjson 0.2.21 - R用JSON
• rlang 1.0.2 - 基底型とRのコアと「Tidyverse」の機能のための関数
• rms 6.2-0 - 回帰モデリング戦略
• robCompositions 2.3.1 - 組成データのロバスト推定
• robustbase 0.93-9 - ロバスト統計学の基礎
• roxygen2 7.1.2 - Rのインラインドキュメント
• rpart 4.1.16 - 再帰的パーティションおよび回帰ツリー
• RPMM 1.25 - 再帰的に分割された混合モデル
• rprojroot 2.0.2 - プロジェクトサブディレクトリ内のファイルの検索
• rrcov 1.6_2 - 高いブレークダウンポイントを持つスケーラブルなロバスト推定器
• RSNNS 0.4-14 - Stuttgart Neural Network Simulatorを使用したニューラルネットワーク
• RSpectra 0.16_0 - 大規模固有値およびSVD問題のソルバー
• RSQLite 2.2.8 - Rのための「SQLite」インターフェース
• rstudioapi 0.13 - RStudio APIへの安全なアクセス
• sandwich 3.0_1 - ロバスト共分散行列推定器
• scales 1.1.1 - 可視化のためのスケール関数
• sem 3.1-14 - 構造方程式モデル
• sfsmisc 1.1-12 - 工科大学チューリッヒ校「統計学セミナー」での活用例
• sgeostat 1.0-27 - S+における地球統計学的モデリングのためのオブジェクト指向フレームワーク
• slam 0.1-50 - スパースで軽量な配列および行列
• SnowballC 0.7.0 - Cのlibstemmer UTF-8ライブラリにもとづくSnowballステマー
• SparseM 1.81 - スパース線形代数
• spatial 7.3-15 - Krigingおよびポイントパターン解析のための関数
• sp 1.4_6 - 空間データに関するクラスとメソッド
• splines2 0.4.5 - 回帰スプライン関数とクラス
• sROC 0.1-2 - 連続データ用の非パラメトリックな滑らかなROC曲線
• statmod 1.4.36 - 統計モデリング
• sticky 0.5.6.1 - データ操作全体における属性の永続化
• stopwords 2.3 - 多言語ストップワードリスト
• stringdist 0.9.8 - 文字列の近似マッチングおよび文字列距離関数
• stringi 1.7.6 - 文字列処理機能
• stringr 1.4.0 - 一般的な文字列操作のためのシンプルで一貫性のあるラッパー
• strucchange 1.5-2 - 構造変化のテスト、監視、および日付指定
• survey 4.1_1 - 複雑な調査サンプルの分析
• survival 3.3_1 - 生存率解析
• tcltk2 1.2_11 - Tcl/Tkインターフェース
• TH.data 1.1_0 - THのデータアーカイブ
• tibble 3.1.6 - シンプルなデータフレーム
• tidymodels 0.2.0 - tidyverseの原理を利用したモデリングと機械学習のためのパッケージ集
• tidyr 1.2.0 -「spread()」と「gather()」関数でデータを簡単に整理
• tidyselect 1.1.2 - 文字列のセットから選択
• tidytext 0.3.2 -「dplyr」や「ggplot2」などのTidyツールを用いたテキストマイニング
• tidyverse 1.3.1 - データサイエンス向けに設計されたRパッケージの独自のコレクション
• timeDate 3043.102 - Rmetrics - 時系列とカレンダーオブジェクト
• timeSeries 3062.100 - Rmetrics - 金融時系列オブジェクト
• tm 0.7-8 - テキストマイニングパッケージ
• tokenizers 0.2.1 - 自然言語テキストの高速かつ一貫したトークン化
• tree 1.0-41 - 分類と回帰の木
• trimcluster 0.1-5 - トリミングを用いたクラスター分析
• truncnorm 1.0-8 - 切り捨てられた正規分布
• truncreg 0.2-5 - 切り捨てられたガウス回帰モデル
• tseries 0.10-49 - 時系列分析および金融工学
• tsoutliers 0.6-8 - 時系列における外れ値の検出
• TTR 0.24_3 - 技術取引規制
• utf8 1.2.2 - Unicodeテキスト処理
• vcd 1.4-9 - カテゴリーデータの可視化
• VIM 6.1.1 - 欠測値の可視化とインピュテーション
• VSURF 1.1.0 - ランダムフォレストにもとづく3ステップの可変選択手順
• viridis 0.6.2 -「matplotlib」によるデフォルトのカラーマップ
• viridisLite 0.4.0 -「matplotlib」（ライトバージョン）によるデフォルトのカラーマップ
• whisker 0.4 - Rのための{{mustache}}、ロジックのないテンプレート化
• withr 2.5.0 - グローバルな状態を一時的に変更した状態でコードを実行
• xgboost 1.5.1 - 極端な勾配ブースティング
• xml2 1.3.3 - XMLを解析
• xts 0.12.1 - 拡張可能な時系列データ
• yaml 2.3.5 - RのデータをYAMLに変換して戻す方法
• zCompositions 1.4.0 - 組成データセットにおけるゼロおよび非検出値の取り扱いについて
• zoo 1.8-9 - 規則的/不規則的な時系列のためのS3基盤（Zの順序付けされた監視）