目录
此内容是否有帮助?

# DataXエンジン

# I. DataXプロファイル

DataXはアリババが公開したオープンソースプロジェクト(詳細はDataXのGithubホームページ (opens new window))で、異種データソース間のデータ同期によく使われる効率的なオフラインデータ同期ツールです。

DataXはFramework+pluginアーキテクチャを採用し、データソースの読み取りと書き込みはそれぞれReaderとWriterプラグインに対応し、それぞれのデータソースに対応するReaderまたはWriterがあり、DataXはデフォルトで豊富なReaderとWriterサポートを提供し、多くの主流データソースに適応する。Frameworkは、ReaderとWriterを接続するために使用され、同期タスク内のデータ処理、ツイストなどのコアプロセスを担当します。

DataXのデータ同期タスクは、主に、データソースからデータを抽出する方法と、抽出したデータをデータソースに書き込む方法を表す、ReaderとWriterの構成である構成ブックによって制御されます。異種データソースの同期は、構成テキストで対応するデータソースのReaderとWriterを使用することで実現できます。

ta-toolでは、DataXエンジンを統合し、TEクラスタのプラグイン(TEクラスタのReaderとWriter)を作成し、TAクラスタプラグインによって、TEクラスタのものをDataXのデータソースとすることができる。

ta-toolのDataXエンジンを使用すると、次のデータ同期を完了できます

  1. 他のデータベースのデータをTEクラスタにインポートするには、DataXの既存のReaderプラグインとTE Writer
  2. TEクラスタのデータを他のデータベースにエクスポートするには、TE ReaderとDataXの既存のWriterプラグイン

# II。DataXエンジンの使用方法

ta-toolのDataXエンジンを使用してマルチデータソース同期タスクを実行する必要がある場合は、まずTAクラスタにDataXタスクのConfigテキストをし、次に二次開発コンポーネントのDataXコマンド、Configテキストを読み込んでデータ同期タスクを実行する必要があります。

# 2.1配置文書のサンプル

DataXのタスクConfigテキストはjsonテキストである必要があります。json構成のテンプレートは次のとおりです

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "sliceRecordCount": 10,
            "column": [
              {
                "type": "long",
                "value": "10"
              },
              {
                "type": "string",
                "value": "hello，你好，世界-DataX"
              }
            ]
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "encoding": "UTF-8",
            "print": true
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 5
      }
    }
  }
}

構成テキスト全体はJSONであり、最も外側の"job"要素には、それぞれ"content"と"setting"の2つの要素が含まれています。"setting」の「speed」内の「channel」は、同時に実行されるタスクの数です。

コンフィギュレーションブックの主にコンフィギュレーションが必要な部分は、"content"の"reader"要素と"writer"要素で、それぞれデータを読み取るReaderプラグインとデータを書き込むWriterプラグインを構成する。DataXプリセットのReaderおよびWriterプラグインの構成方法については、DataXのSupport Data Channels (opens new window)セクションを参照

# 2.2 DataXコマンドの実行

構成ブックの作成が完了したら、次のコマンドを実行して構成ブックを読み取り、データ同期タスクを開始できます。

ta-tool datax_engine -conf <configPath> [--date <date>]

渡されたパラメーターは、ブックを構成するパスです。

# III。TEクラスターのDataXプラグインの説明

# 3.1クラスタ内で使用されるプラグイン

タイプ
 データソース
 Reader(読む)
 ライター
 ドキュメント
TE
システム
 TE
 √
 √
 読む
、
書く
カスタムテーブル
 TE
 √
 書く
jsonテキスト
 TE
 √
 書く

# 3.2クラスタ外で使用されるプラグイン

タイプ
 データソース
 Reader(読む)
 ライター
 ドキュメント
TE
システム
 TE
 √
 書く

# 3.3 DATADATAXXネイティブプラグイン

タイプ
 データソース
 Reader(読む)
 ライター
 ドキュメント
RDBMSリレーショナルデータベース
 My SQL
 √
 √
 読む
、
書く
オラクル
 √
 √
 読む
、
書く
SQLServer
 √
 √
 読む
、
書く
Postgre SQL
 √
 √
 読む
、
書く
DRDS
 √
 √
 読む
、
書く
汎用RDBMS(すべてのリレーショナルデータベースをサポート)
 √
 √
 読む
、
書く
Aliyunデータストレージ
 ODPS
 √
 √
 読む
、
書く
ADS
 √
 書く
私たち
 √
 √
 読む
、
書く
OCS
 √
 √
 読む
、
書く
NoSQLデータストア
 OTS
 √
 √
 読む
、
書く
Hベース0.9 4
 √
 √
 読む
、
書く
Hベース1.1
 √
 √
 読む
、
書く
Phoenix 4. x
 √
 √
 読む
、
書く
フェニックス5. x
 √
 √
 読む
、
書く
MongoDB
 √
 √
 読む
、
書く
巣箱
 √
 √
 読む
、
書く
カサンドラ
 √
 √
 読む
、
書く
構造化データストレージなし
 TxtFile
 √
 √
 読む
、
書く
FTP
 √
 √
 読む
、
書く
HDFS
 √
 √
 読む
、
書く
エラスティックサーチ
 √
 √
 読む
、
書く
時系列データベース
 Open TSDB
 √
 読む
TSDB
 √
 √
 読む
、
書く