目录
此内容是否有帮助?

# TaDataWriterプラグイン

# 一、紹介する

TaDataWriterは、DataXがTaクラスタにデータを転送する機能を提供します。

# 二、機能と制限

TaDataWriterは、DataXプロトコルからTEクラスタの内部データ機能への移行を実装しました。

  1. サポートされており、TEクラスタへの書き込みのみがサポートされています。
  2. データ圧縮をサポートし、既存の圧縮形式はgzip、lzo、lz4、snappyです。
  3. マルチスレッド転送をサポートします。
  4. サポートされており、TEノードでのみ使用できます。

# 三、機能説明

# 3.1構成サンプル

{
  "job": {
    "setting": {
      "speed": {
        "channel": 1
      }
    },
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "column": [
              {
                "value": "ABCDEFG-123-abc",
                "type": "string"
              },
              {
                "value": "F53A58ED-E5DA-4F18-B082-7E1228746E88",
                "type": "string"
              },
              {
                "value": "login",
                "type": "string"
              },
              {
                "value": "2020-01-01 01:01:01",
                "type": "date"
              },
              {
                "value": "abcdefg",
                "type": "string"
              },
              {
                "value": "2019-08-08 08:08:08",
                "type": "date"
              },
              {
                "value": 123456,
                "type": "long"
              },
              {
                "value": true,
                "type": "bool"
              }
            ],
            "sliceRecordCount": 1000
          }
        },
        "writer": {
          "name": "ta-data-writer",
          "parameter": {
            "type": "track",
            "appid": "34c703a885014208a737911748a7b51c",
            "column": [
              {
                "index": "0",
                "colTargetName": "#account_id",
                "type": "string"
              },
              {
                "index": "1",
                "colTargetName": "#distinct_id"
              },
              {
                "index": "2",
                "colTargetName": "#event_name"
              },
              {
                "index": "3",
                "colTargetName": "#time",
                "type": "date",
                "dateFormat": "yyyy-MM-dd HH:mm:ss.SSS"
              },
              {
                "index": "4",
                "colTargetName": "testString",
                "type": "string"
              },
              {
                "index": "5",
                "colTargetName": "testDate",
                "type": "date",
                "dateFormat": "yyyy-MM-dd HH:mm:ss.SSS"
              },
              {
                "index": "6",
                "colTargetName": "testLong",
                "type": "number"
              },
              {
                "index": "7",
                "colTargetName": "testBoolean",
                "type": "boolean"
              },
              {
                "colTargetName": "add_clo",
                "value": "addFlag",
                "type": "string"
              }
            ]
          }
        }
      }
    ]
  }
}

# 3.2パラメータの説明

  • タイプ
    • 説明:書き込まれたデータ型user_set, track
    • 必須:はい
    • デフォルト:なし
  • appid
    • 説明:対応項目のappid。
    • 必須:はい
    • デフォルト:なし
    • 説明:スレッド数。
    • 必須:いいえ
    • デフォルト: 3
  • 圧縮
    • 説明:テキスト圧縮タイプ、デフォルトで記入しないと圧縮がないことを意味します。サポート圧縮タイプはzip、lzo、lzop、tgz、bzip2。
    • 必須:いいえ
    • デフォルト:圧縮なし
  • connType
    • 説明:クラスタ内のデータを受け取る方法は、receiverを歩くか、kafkaに直接送るか。
    • 必須:いいえ
    • デフォルト: http
  • コラム
    • 説明:読み取りフィールドリスト、typeデータのタイプを指定し、index現在の列に対応readerの何番目の列(0で始まる)を指定し、value現在のタイプを定数として指定し、readerからデータを読み込まず、value値に基づいて対応する列を自動的に生成する。

ユーザーは、Columnフィールド情報を指定できます。

[
  {
    "type": "Number",
    "colTargetName": "test_col", //生成数据对应的列名
    "index": 0 //从reader到datax传输第一列获取Number字段
  },
  {
    "type": "string",
    "value": "testvalue",
    "colTargetName": "test_col" //从TaDataWriter内部生成testvalue的字符串字段作为当前字段
  },
  {
    "index": 0,
    "type": "date",
    "colTargetName": "testDate",
    "dateFormat": "yyyy-MM-dd HH:mm:ss.SSS"
  }
]
  • ユーザーがColumn情報を指定する場合、index/value選択する必要があり、typeは必須ではなく、date型を設定する場合はdataFormat必須ではない。
    • 必須:はい
    • デフォルト:すべてreaderタイプで読み込む

# 3.3タイプ変換

タイプはTaDataWriter定義:

DataX内部型
TaDataWriterデータ型
Int
番号
ロング
番号
ダブル
番号


ブール型
ブール型
日付
日付