# TaDataWriterプラグイン
# 一、紹介する
TaDataWriterは、DataXがTaクラスタにデータを転送する機能を提供します。
# 二、機能と制限
TaDataWriterは、DataXプロトコルからTEクラスタの内部データ機能への移行を実装しました。
- サポートされており、TEクラスタへの書き込みのみがサポートされています。
- データ圧縮をサポートし、既存の圧縮形式はgzip、lzo、lz4、snappyです。
- マルチスレッド転送をサポートします。
- サポートされており、TEノードでのみ使用できます。
# 三、機能説明
# 3.1構成サンプル
{
"job": {
"setting": {
"speed": {
"channel": 1
}
},
"content": [
{
"reader": {
"name": "streamreader",
"parameter": {
"column": [
{
"value": "ABCDEFG-123-abc",
"type": "string"
},
{
"value": "F53A58ED-E5DA-4F18-B082-7E1228746E88",
"type": "string"
},
{
"value": "login",
"type": "string"
},
{
"value": "2020-01-01 01:01:01",
"type": "date"
},
{
"value": "abcdefg",
"type": "string"
},
{
"value": "2019-08-08 08:08:08",
"type": "date"
},
{
"value": 123456,
"type": "long"
},
{
"value": true,
"type": "bool"
}
],
"sliceRecordCount": 1000
}
},
"writer": {
"name": "ta-data-writer",
"parameter": {
"type": "track",
"appid": "34c703a885014208a737911748a7b51c",
"column": [
{
"index": "0",
"colTargetName": "#account_id",
"type": "string"
},
{
"index": "1",
"colTargetName": "#distinct_id"
},
{
"index": "2",
"colTargetName": "#event_name"
},
{
"index": "3",
"colTargetName": "#time",
"type": "date",
"dateFormat": "yyyy-MM-dd HH:mm:ss.SSS"
},
{
"index": "4",
"colTargetName": "testString",
"type": "string"
},
{
"index": "5",
"colTargetName": "testDate",
"type": "date",
"dateFormat": "yyyy-MM-dd HH:mm:ss.SSS"
},
{
"index": "6",
"colTargetName": "testLong",
"type": "number"
},
{
"index": "7",
"colTargetName": "testBoolean",
"type": "boolean"
},
{
"colTargetName": "add_clo",
"value": "addFlag",
"type": "string"
}
]
}
}
}
]
}
}
# 3.2パラメータの説明
- タイプ
- 説明:書き込まれたデータ型user_set, track
- 必須:はい
- デフォルト:なし
- appid
- 説明:対応項目のappid。
- 必須:はい
- デフォルト:なし
- 糸
- 説明:スレッド数。
- 必須:いいえ
- デフォルト: 3
- 圧縮
- 説明:テキスト圧縮タイプ、デフォルトで記入しないと圧縮がないことを意味します。サポート圧縮タイプはzip、lzo、lzop、tgz、bzip2。
- 必須:いいえ
- デフォルト:圧縮なし
- connType
- 説明:クラスタ内のデータを受け取る方法は、receiverを歩くか、kafkaに直接送るか。
- 必須:いいえ
- デフォルト: http
- コラム
- 説明:読み取りフィールドリスト、
type
データのタイプを指定し、index
現在の列に対応reader
の何番目の列(0で始まる)を指定し、value
現在のタイプを定数として指定し、reader
からデータを読み込まず、value
値に基づいて対応する列を自動的に生成する。
- 説明:読み取りフィールドリスト、
ユーザーは、Column
フィールド情報を指定できます。
[
{
"type": "Number",
"colTargetName": "test_col", //生成数据对应的列名
"index": 0 //从reader到datax传输第一列获取Number字段
},
{
"type": "string",
"value": "testvalue",
"colTargetName": "test_col" //从TaDataWriter内部生成testvalue的字符串字段作为当前字段
},
{
"index": 0,
"type": "date",
"colTargetName": "testDate",
"dateFormat": "yyyy-MM-dd HH:mm:ss.SSS"
}
]
- ユーザーがColumn情報を指定する場合、
index
/value
選択する必要があり、type
は必須ではなく、date
型を設定する場合はdataFormat
必須ではない。- 必須:はい
- デフォルト:すべてreaderタイプで読み込む
# 3.3タイプ変換
タイプはTaDataWriter定義:
DataX内部型 | TaDataWriterデータ型 |
---|---|
Int | 番号 |
ロング | 番号 |
ダブル | 番号 |
弦 | 弦 |
ブール型 | ブール型 |
日付 | 日付 |