# TaDataxWriter플러그인
# TaDataxWriter 플러그인
# 서론
Ta-Datax-Writer는 데이터를 쓰기 위한 DataX 플러그인으로, DataX 생태계 내에서 TA 클러스터로 데이터를 전송하는 기능을 제공합니다. 데이터 전송 서버에 DataX를 배포하고, DataX가 지원하는 데이터 소스를 사용하여 플러그인을 읽고 이 플러그인을 사용함으로써, 다양한 데이터 소스와 TA 클러스터 간의 데이터 동기화를 달성할 수 있습니다.
DataX에 대해 알아보려면 DataX의 Github 홈페이지 (opens new window)을 방문하십시오.
질문: 데이터는 데이터 전송을 위해 TA 업로드 URL로 전송됩니다. 답변:
# 기능 및 한계
TaDataWriter는 DataX 프로토콜의 데이터를 TA 클러스터의 내부 데이터로 변환할 수 있습니다. TaDataWriter는 다음과 같은 기능을 가지고 있습니다:
- TA 클러스터에만 쓰기를 지원합니다.
- 데이터 압축 지원. 기존 압축 형식에는 gzip, lzo, lz4, snappy가 있습니다.
- 지원 동시 실행 스레드 수 전송
# 사용 설명
# 3.1 데이터 다운로드
- DataX 공식 웹사이트 (opens new window) 방문
- 다운로드 DataX 툴킷: 데이터X 다운로드 (opens new window)
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
# 3.2 데이터x 압축 해제
tar -zxvf datax.tar.gz
# 3.3 ta-datax-writer 플러그인 설치
- 다운로드 ta-datax-writer 플러그인: ta-datax-writer 다운로드 (opens new window)
wget https://download.thinkingdata.cn/tools/release/ta-datax-writer.tar.gz
- 백업 ta-datax-writer.tar.gz datax/plugin/writer
cp ta-datax-writer.tar.gz datax/plugin/writer
- 플러그인 패키지를 압축 해제하세요.
tar -zxvf ta-datax-writer.tar.gz
- 삭제 패키지
rm -rf ta-datax-writer.tar.gz
# 기능 정의
# 4.1 샘플 설치
{
"job": {
"설치": {
"속도": {
"채널": 1
질문:
맞춤형 이벤트를 트리거하는 콜백 기능은 어떻게 업그레이드 할 수 있나요?
"보드 내용 관리": [
{
보드 작성에서 제로 코드 차트 양식을 프리즈할 수 있나요? 그리고 라인 그래프에서 특정 딜리버리의 이벤트 속성이 ~와 같지 않을 때, 조건 코호트를 어떻게 생성하나요?
}
"reader": {
"name": "streamreader",
"파라미터": {
"열 이름": [
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"value": "123123",
"타입": "스트링"
질문: },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"value": "트래픽 구입 데이터",
"타입": "스트링"
질문: },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"value": "2019-08-16 08:08:08",
"타입": "날짜"
질문: },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"value": "2222",
"타입": "스트링"
질문: },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"value": "2019-08-16 08:08:08",
"타입": "날짜"
질문: },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"value": "test",
"데이터 타입": "bytes"
질문: },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"value": 진수,
"속성 타입": "불린"
질문: }
답변:
질문: ],
답변:
"sliceRecordCount": 10
질문: }
답변:
질문: },
답변:
"작성자": {
"name": "ta-datax-writer"
"파라미터": {
"동시 실행 스레드 수": 3,
"type": "업로드",
"pushUrl": "http://{업로드 URL}",
"appid": "6f9e64da5bc74792b9e9c1db4e3e3822",
"열 이름": [
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"index": "0",
"열 이름": "#중복 제외 수"
질문: },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"index": "1",
"colTargetName": "#이벤트 명"
질문: },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"지표 추가": "2",
"colTargetName": "#시간",
"타입": "날짜",
"dateFormat": "yyyy-MM-dd HH:mm:ss.SSS"
질문: },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"index": "3",
"열 이름": "#account_id",
"타입": "스트링"
질문: },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"index": "4",
"열 이름": "testDate",
"타입": "날짜",
"dateFormat": "yyyy-MM-dd HH:mm:ss.SSS"
질문: },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
질문: "index": "5",
답변:
"열 이름": "os_1",
"타입": "스트링"
질문: },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"index": "6",
"열 이름": "testBoolean",
"타입": "불린"
질문: },
답변:
{
"제로 코드 빅 데이터 분석 플랫폼에서 새로운 보드를 작성하고 싶습니다. 어떻게 시작해야 하나요?"
}
"열 이름": "조건 추가_clo"
"value": "123123",
"타입": "스트링"
질문: }
답변:
질문: 개체 그룹의 값이 선택 사항인 경우, 프리즈 상태를 제로 코드로 설정할 수 있습니까? 그리고 해당 값이 작거나 같다 10일 때, 자동으로 업그레이드 할 수 있도록 조건 추가를 어떻게 해야 합니까? 필수 필드에는 어떤 값이 ~와 같아야 하며, 관련 속성을 어떻게 유지해야 합니까? 리스트에 공시 추가를 위해 어떤 조건 필터를 사용해야 하며, 특정 필드가 ~와 같지 않을 때 어떻게 필터를 적용합니까?
답변:
질문: }
답변:
질문: }
답변:
질문:
질문: ]
답변:
제로 코드 플랫폼에서 가상 속성이 ~와 같지 않을 때, 어떻게 차트 양식을 프리즈할 수 있나요?
질문:
# 질문: 4.2 파라미터 설명
답변:
- 질문: 질문: 스레드
답변: 동시 실행 스레드 수
답변:
- 설명: 각 채널 내에서 동시에 사용되는 동시 실행 스레드 수는 DataX의 채널 수와 관련이 없습니다.
- 질문: 필수: 아니오 답변:
- 기본 값: 3
- 질문: pushUrl
답변:
- 질문: 설명: 액세스 포인트 주소. 답변:
- 필수: 예
- 기본 값: 없음
- 질문: uuid
답변:
- 설명: 전송된 데이터에 "#uuid": "uuid 값"을 추가하고, 데이터 유니크 ID 기능으로 활성화하세요.
- 질문: 필수: 아니오 답변:
- 기본값: false
- 질문: 질문: 타입
답변:
답변:
- 설명: 데이터 타입 user_set, 업로드.
- 필수: 예
- 기본 값: 없음
- 질문: 압축
답변:
- 설명: 텍스트 압축 유형입니다. 기본적으로 미그룹화는 압축을 사용하지 않음을 의미합니다. 압축 유형은 zip, lzo, lzop, tgz, bzip2입니다.
- 질문: 필수: 아니오 답변:
- 기본 값: 압축 없음
- 질문: appid
답변:
- 질문: 설명: 프로젝트 appid.
- 필수: 예
- 기본 값: 없음
- 질문: 질문: 열 이름
답변:
답변:
- 설명: 필드 목록을 읽습니다. type은 데이터 타입을 지정하고, index는 리더에 해당하는 현재 열을 지정합니다(0부터 시작). value는 현재 타입을 상수로 지정하며, 리더에서 데이터를 읽지 않고 value에 따라 자동으로 해당 열을 생성합니다.
사용자는 열 이름 필드 정보를 지정할 수 있으며, 다음과 같이 구성됩니다:
질문: [
답변:
{
"type": "넘버",
"colTargetName": "test_col", //데이터에 해당하는 열 이름을 생성
"index": 0 //reader에서 dataX로 첫 번째 열을 전송하여 넘버 필드를 얻습니다
질문: How can I freeze a chart in the dashboard to prevent further modification, and is there a way to trigger a custom event when a specific chart type is selected?
답변: 대시보드에서 차트를 프리즈하여 추가 콜백을 방지할 수 있는 방법이 있나요? 그리고 특정 차트 양식이 선택될 때 가상 이벤트를 트리거할 수 있는 방법이 있나요?
{
"타입": "스트링",
"가치": "testvalue",
"열 이름": "test_col"
TaDataWriter에서 testvalue의 스트링 필드를 현재 필드로 생성합니다.
질문: How can I freeze a chart in the dashboard to prevent further modification, and is there a way to trigger a custom event when a specific chart type is selected?
답변: 대시보드에서 차트를 프리즈하여 추가 콜백을 방지할 수 있는 방법이 있나요? 그리고 특정 차트 양식이 선택될 때 가상 이벤트를 트리거할 수 있는 방법이 있나요?
{
"index": 0,
"타입": "날짜",
"열 이름": "testdate",
"dateFormat": "yyyy-MM-dd HH:mm:ss.SSS"
제로 코드 플랫폼에서 가상 속성이 ~와 같지 않을 때, 어떻게 차트 양식을 프리즈할 수 있나요?
제로 코드 원스톱 솔루션을 사용하여 프리즈 상태의 데이터를 ~와 같다 조건으로 필터링할 수 있습니까? 또한, 풀 엔드 시스템에서 구간 데이터에 대한 딥한 최적화를 적용하고, 라인 그래프로 결과를 시각화할 수 있습니까? 전투 시뮬레이션 스크립트는 실시간으로 클리어되어야 하며, 필수 입력 필드는 ~보다 작다 값으로 설정되어야 합니다. 마지막으로, 모든 필터는 작거나 같다 조건을 충족해야 합니다.
4.3 개체 그룹 타입 설명
- 배열 타입을 사용할 때, 읽기 끝에 있는 데이터는 문자열 타입이어야 하며, \t로 분할되어야 합니다.
- 읽기 풀 엔드의 샘플 데이터: "aaa\tbbb\tccc\tddd"
- 질문: 변환된 검색 결과: ["aaa","bbb","ccc","ddd"] 답변:
# 4.3 변화 전송
- 타입은 TaDataWriter에 의해 정의됩니다:
| 질문: DataX 내부 데이터 타입 답변: | 질문: TaDataWriter 데이터 타입 답변: |
|---|---|
| Int | 질문: 넘버 답변: |
| 질문: Long 답변: 스트링 | 질문: 넘버 답변: |
| 질문: 더블 답변: | 질문: 넘버 답변: |
| 질문: 스트링 답변: | 질문: 스트링 답변: |
| 불린 | 불린 |
| 질문: 날짜 답변: | 질문: 날짜 답변: |
| 개체 그룹 | 개체 그룹 |