TaCustomReader 플러그인

1. 소개

TaCustomReader 플러그인은 DataX가 Ta로부터 데이터를 읽을 수 있도록 합니다. 기본 구현에서 TaCustomReader는 JDBC를 통해 원격 TA 데이터베이스에 연결하고 해당 SQL 문을 실행하여 TA 라이브러리에서 데이터를 SELECT 합니다.

2. 구현 원리

간단히 말해, TaCustomReader는 JDBC 커넥터를 통해 원격 TA 데이터베이스에 연결하여 유저가 구성한 정보를 기반으로 SELECT SQL 문을 생성하고 이를 TA 클러스터에 전송합니다. SQL 실행 결과는 DataX에서 정의한 데이터 유형을 사용하여 추상 데이터 세트로 조립되고 하위 Writer로 전달되어 처리됩니다.

3. 기능 설명

3.1 샘플 구성

TA 클러스터에서 데이터를 읽어 콘솔에 출력하는 작업을 구성합니다:

{
  "job": {
    "setting": {
      "speed": {
        "channel": 1
      }
    },
    "content": [
      {
        "reader": {
          "name": "ta-custom-reader",
          "parameter": {
            "querySql": "select * from v_event_1 where \"$part_date\" = '2020-01-01'"
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "print": true,
            "encoding": "UTF-8"
          }
        }
      }
    ]
  }
}

3.2 파라미터 설명

• server
  • 설명: SERVER형식으로 피어 TA 데이터베이스에 대한 연결 정보를 설명합니다.
  • 필수 여부: 아니요
  • 기본값: 동기 클러스터 구성
• querySql
  • 설명: 일부 비즈니스 시나리오에서 사용자는 이 구성 유형을 통해 SQL 필터링을 사용자 정의할 수 있습니다. 사용자가 이 항목을 구성하면 이 구성 항목의 내용을 사용하여 데이터를 직접 필터링합니다. 예를 들어, 다중 테이블 조인 후 데이터를 동기화해야 하는 경우, select a,b from table_a join table_b on table_a.id = table_b.id와 같이 사용합니다.
  • 필수 여부: 예
  • 기본값: 없음

3.3 유형 변환

현재 TaCustomReader는 대부분의 Presto 유형을 지원하지만, 일부 개별 유형은 지원하지 않습니다. 유형을 확인하십시오.

다음은 TA 클러스터에 대해 TA-reader가 사용하는 Presto 유형 변환 목록입니다:

DataX 내부 유형	Presto 데이터 유형
Long	TINYINT, SMALLINT, INTEGER, BIGINT
Double	REAL, DOUBLE, DECIMAL
String	VARCHAR, CHAR, VARBINARY, JSON
Date	DATE, TIME, TIMESTAMP
Boolean	BOOLEAN

참고: 위에 나열된 필드 유형을 제외한 다른 유형은 지원되지 않습니다.