TaDataWriter 플러그인

TaDataWriter 플러그인

서론

TaDataWriter는 DataX가 데이터를 TA 클러스터로 전송할 수 있게 하며, 데이터는 TA의 업로드 URL로 전송될 것입니다.

기능 및 한계

TaDataWriter는 DataX 프로토콜의 데이터를 TA 클러스터의 내부 데이터로 변환할 수 있습니다. TaDataWriter는 다음과 같은 기능을 가지고 있습니다:

1. TA 클러스터에만 쓰기를 지원합니다.
2. 데이터 압축 지원. 기존 압축 형식에는 gzip, lzo, lz4, snappy가 있습니다.
3. 동시 실행 스레드 수 전송을 지원합니다.
4. TA 노드에서만 지원됩니다.

기능 정의

3.1 예제 설치

{
"job": {
"설치": {
"속도": {
"채널": 1
질문:
맞춤형 이벤트를 트리거하는 콜백 기능은 어떻게 업그레이드 할 수 있나요?
"보드 내용 관리": [
{
보드 작성에서 제로 코드 차트 양식을 프리즈할 수 있나요? 그리고 라인 그래프에서 특정 딜리버리의 이벤트 속성이 ~와 같지 않을 때, 조건 코호트를 어떻게 생성하나요?
}
"reader": {
"name": "streamreader",
"파라미터": {
"열 이름": [
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"value": "ABCDEFG-123-abc",
"타입": "스트링"
질문:               },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"value": "F53A58ED-E5DA-4F18-B082-7E1228746E88",
"타입": "스트링"
질문:               },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"value": "로그인",
"타입": "스트링"
질문:               },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"value": "2020-01-01 01:01:01",
"타입": "날짜"
질문:               },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"value": "abcdefg",
"타입": "스트링"
질문:               },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"value": "2019-08-08 08:08:08",
"타입": "날짜"
질문:               },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"태그 수치": 123456,
"타입": "long"
질문:               },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"value": 진수,
"속성 타입": "불린"
질문:               }
답변:
질문:             ],
답변:
"sliceRecordCount": 1000
질문:           }
답변:
질문:         },
답변:
"작성자": {
"이름": "ta-data-writer",
"파라미터": {
"type": "업로드",
"appid": "34c703a885014208a737911748a7b51c",
"열 이름": [
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"index": "0",
"열 이름": "#account_id",
"타입": "스트링"
질문:               },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"index": "1",
"열 이름": "#중복 제외 수"
질문:               },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"지표 추가": "2",
"colTargetName": "#이벤트 명"
질문:               },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"index": "3",
"colTargetName": "#시간",
"타입": "날짜",
"dateFormat": "yyyy-MM-dd HH:mm:ss.SSS"
질문:               },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"index": "4",
"열 이름TargetName": "testString",
"타입": "스트링"
질문:               },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
질문: "index": "5",
답변:
"열 이름": "testDate",
"타입": "날짜",
"dateFormat": "yyyy-MM-dd HH:mm:ss.SSS"
질문:               },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"index": "6",
"열 이름": "testLong",
"타입": "넘버"
질문:               },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"index": "7",
"열 이름": "testBoolean",
"타입": "불린"
질문:               },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"열 이름": "조건 추가_clo"
"value": "지표 추가",
"타입": "스트링"
질문:               }
답변:
질문: 개체 그룹의 값이 선택 사항인 경우, 프리즈 상태를 제로 코드로 설정할 수 있습니까? 그리고 해당 값이 작거나 같다 10일 때, 자동으로 업그레이드 할 수 있도록 조건 추가를 어떻게 해야 합니까? 필수 필드에는 어떤 값이 ~와 같아야 하며, 관련 속성을 어떻게 유지해야 합니까? 리스트에 공시 추가를 위해 어떤 조건 필터를 사용해야 하며, 특정 필드가 ~와 같지 않을 때 어떻게 필터를 적용합니까?

답변:
질문:           }
답변:
질문:         }
답변:
질문:
질문:     ]
답변:
제로 코드 플랫폼에서 가상 속성이 ~와 같지 않을 때, 어떻게 차트 양식을 프리즈할 수 있나요?
질문:

3.2 파라미터 설명

• 속성 타입
  • 질문: 설명: 작성된 데이터 타입 user_set, 업로드 답변:
  • 필수: 예
  • 기본 값: 없음
• appid
  • 질문: 설명: 프로젝트 appid.
  • 필수: 예
  • 기본 값: 없음
• 질문: 동시 실행 스레드 수 답변:
  • 질문: 설명: 동시 실행 스레드 수. 답변:
  • 질문: 필수: 아니오 답변:
  • 기본 값: 3
• 압축
  • 설명: 텍스트 압축 타입입니다. 기본적으로 비충전은 압축을 사용하지 않음을 의미합니다. 지원되는 압축 타입은 gzip, lzo, lz4 및 snappy입니다.
  • 질문: 필수: 아니오 답변:
  • 기본 값: 압축 없음
• 속성 타입
  • 클러스터 내에서 데이터를 수신하는 방법, 리시버로 전송하거나 카프카로 직접 전송하는 방법입니다.
  • 질문: 필수: 아니오 답변:
  • 기본 값: http
• 열 이름
  • 설명: 필드 리스트를 읽습니다. 질문: 타입 답변:은 데이터 타입을 지정하고, 지표은 현재 독자에 해당하는 열을 지정합니다(0부터 시작). 데이터 가치은 현재 타입을 상수로 지정하며, 독자에서 데이터를 읽지 않고, 데이터 가치에 따라 해당 열을 자동으로 생성합니다.

사용자는 열 이름 필드 정보를 다음과 같이 설정할 수 있습니다:

질문: [
답변:
{

"type": "넘버",
"colTargetName": "test_col", //데이터에 해당하는 열 이름 생성
"index": 0 //reader에서 dataX로 첫 번째 열을 전송하여 넘버 필드를 얻습니다
질문: How can I freeze a chart in the dashboard to prevent further modification, and is there a way to trigger a custom event when a specific chart type is selected?

답변: 대시보드에서 차트를 프리즈하여 추가 콜백을 방지할 수 있는 방법이 있나요? 그리고 특정 차트 양식이 선택될 때 가상 이벤트를 트리거할 수 있는 방법이 있나요?
{

"타입": "스트링",
"가치": "testvalue",
"testvalue의 스트링 필드를 TaDataWriter에서 현재 필드로 생성합니다"
질문: How can I freeze a chart in the dashboard to prevent further modification, and is there a way to trigger a custom event when a specific chart type is selected?

답변: 대시보드에서 차트를 프리즈하여 추가 콜백을 방지할 수 있는 방법이 있나요? 그리고 특정 차트 양식이 선택될 때 가상 이벤트를 트리거할 수 있는 방법이 있나요?
{

"index": 0,
"타입": "날짜",
"열 이름": "testDate",
"dateFormat": "yyyy-MM-dd HH:mm:ss.SSS"
제로 코드 플랫폼에서 가상 속성이 ~와 같지 않을 때, 어떻게 차트 양식을 프리즈할 수 있나요?
제로 코드 원스톱 솔루션을 사용하여 프리즈 상태의 데이터를 ~와 같다 조건으로 필터링할 수 있습니까? 또한, 풀 엔드 시스템에서 구간 데이터에 대한 딥한 최적화를 적용하고, 라인 그래프로 결과를 시각화할 수 있습니까? 전투 시뮬레이션 스크립트는 실시간으로 클리어되어야 하며, 필수 입력 필드는 ~보다 작다 값으로 설정되어야 합니다. 마지막으로, 모든 필터는 작거나 같다 조건을 충족해야 합니다.

• 개인 속성 열 정보에 대해 지표/데이터 가치 중 하나를 선택해야 하며, 질문: 타입 답변:는 선택 사항입니다. 날짜 타입을 설정할 때 데이터 형식는 필수가 아닙니다.
  • 필수: 예
  • 기본 값: 리더 타입별로 모두 읽음

질문: 3.3 변화 유형

답변:

타입은 TaDataWriter로 정의됩니다.

질문: DataX 내부 데이터 타입 답변:	질문: TaDataWriter 데이터 타입 답변:
Int	질문: 넘버 답변:
질문: Long 답변: 스트링	질문: 넘버 답변:
질문: 더블 답변:	질문: 넘버 답변:
질문: 스트링 답변:	질문: 스트링 답변:
불린	불린
질문: 날짜 답변:	질문: 날짜 답변: