TaCustomReader プラグイン

一、紹介する

TaCustomReader プラグインは、Ta からデータを読み取るために DataX を実装します。基礎となる実装では、TaCustomReader は JDBC を介してリモート TA データベースに接続し、適切な sql 文を実行して TA ライブラリからデータを SELECT します。

二、実現原理

簡単に言うと、TaCustomReader は JDBC コネクタを介してリモートの TA データベースに接続し、ユーザー設定の情報に基づいてクエリ SELECT SQL 文を生成して TA クラスタに送信し、その SQL 実行の結果を DataX カスタムのデータ型を使用して抽象データセットに組み立て、下流の Writer 処理に渡します。

三、機能説明

3.1 構成サンプル

TA クラスタから読み取りデータをコンソールに印刷するジョブを構成します。

{
  "job": {
    "setting": {
      "speed": {
        "channel": 1
      }
    },
    "content": [
      {
        "reader": {
          "name": "ta-custom-reader",
          "parameter": {
            "querySql": "select * from v_event_1 where \"$part_date\" = '2020-01-01'"
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "print": true,
            "encoding": "UTF-8"
          }
        }
      }
    ]
  }
}

3.2 パラメータの説明

• サーバー
  • 説明:エンド TA データベースへの接続情報、SERVER: PORT形式。
  • 必須:いいえ
  • 既定値:同期クラスター構成
• クエリスカル
  • 説明:一部のビジネスシナリオでは、ユーザーはこの構成でフィルター SQL をカスタマイズできます。ユーザーがこの項目を構成した後、この構成項目の内容を直接使用してデータを選別します。たとえば、マルチテーブル join 後にデータを同期する必要がありselect a, b from table_a join table_b ontable_a.id=table_b.id
  • 必須:はい
  • デフォルト:なし

3.3 タイプ変換

現在、TaCustomReader はほとんどの Presto タイプをサポートしていますが、一部の個々のタイプがサポートしていない場合もありますので、タイプを確認してください。

以下に、TA リーダーが TA クラスターで使用するプレストタイプ変換のリストを示します。

DataX内部型	Prestoデータ型
ロング	TINYINT, SMALLINT, INTEGER, BIGINT
ダブル	リアル、ダブル、デシマル
弦	VARCHAR, CHAR, VARBINARY, JSON
日付	日付、時間、タイムスタンプ
ブール型	ブーリアン

**注意:**上記の列フィールドタイプ以外はサポートされていません