LogBus Windows版使用ガイド

このセクションでは、主にデータ転送ツールLogBusのWindowsバージョンの使用方法について説明します

ドッキングを開始する前に、データルール、TEのデータ形式とデータルールに精通した後、このガイドを読んでドッキングする必要があります。

LogBusアップロードするデータは、TEのデータ形式に従う必要があります

ダウンロードLogBusWindows版

最新バージョン: 1.3.0

更新時間: 2021-10-19

ダウンロード (opens new window)

LogBusの概要

LogBusツールは、主にバックエンドのログデータをTEバックグラウンドにリアルタイムでインポートするために使用されます。そのコアはFlumeに似ています。サーバーログディレクトリのテキストストリームを監視し、ディレクトリの下の任意のログテキストに新しいデータが生成されると、新しいデータを検証し、リアルタイムでTEバックグラウンドに送信します。

次のカテゴリのユーザーは、LogBusを使用してデータにアクセスすることをお勧めします。

1. サービス側SDKを使用するユーザーは、LogBus経由でデータをアップロード
2. データの正確性と次元に対する要求が高く、クライアントSDKだけではデータのニーズを満たすことができない、あるいはクライアントSDKへのアクセスが不便である
3. バックエンドのデータプッシュプロセス
4. 大量の履歴データ

使用前のデータ準備

1.まず転送するデータをETLでTEのデータ形式、ローカルに書き込むかKafkaクラスタに転送する。サービス側SDKのローカルテキストやKafkaのconsumerを使うと、データはすでに正しい形式で、変換する必要はないです。

2.アップロードされたデータのテキストが保存されているディレクトリ、またはKafkaのアドレスとtopicを特定し、LogBusの関連構成を設定すると、LogBusはテキストディレクトリのテキスト変更（新規または既存のテキストを監視）を監視したり、Kafkaのデータを購読したりします。

3.監視ディレクトリに保存され、アップロードされたデータログの名前を直接変更しないでください。名前変更ログは新しいテキストに相当し、LogBusはこれらのテキストを再アップロードしてデータが重複する可能性があります。

4.LogBusコンポーネントにデータバッファが含まれているため、LogBusディレクトリがディスクに占める容量が少し大きくなる可能性があるため、LogBusインストールノードのディスク容量が十分で、プロジェクトへのデータ転送ごとに少なくとも10Gのストレージを確保する必要があります。

LogBusのインストールとアップグレード

3.1 LogBusのインストールLogBus

1. LogBusツール (opens new window)をダウンロードし解凍します。
2. 解凍後のディレクトリ構造:
3. bin:起動プログラムフォルダ
4. conf:テキストフォルダの設定
5. lib:機能ブッククリップ

LogBusのパラメータ構成

1.解凍後のconfディレクトリには、LogBusLogBus TemplateのすべてのLogBus構成パラメーターを含む構成テキストが含まれています。

2.logBlogBを開いus.confて関連するパラメータ設定

4.1プロジェクトとデータソースの構成（必須構成）

• プロジェクトAPP_ID

APP_IDは繰り返し設定できません

##APPID is from token on TGA website. Please get the APPID of the accessing project from the project configuration page in TA background and fill it in here. Multiple APPIDs are split by''.

APPID=APPID_1,APPID_2

• ブック構成の監視(いずれかを選択してください。構成する必要があります)

4.1.1.データソースがローカルテキストの場合

The path and file name of the data file read by ##LogBus (file name supports ambiguous matching) requires read permission
##Different APPIDs are separated by commas, while different directories of the same APPID are separated by spaces
##TAIL_ FILE file name supports wildcard matching
TAIL_FILE=C:/path1/dir*/log.*,C:/path3/txt.*

TAIL_FILEマルチパスで複数のディレクトリを監視

対応するパラメータの設定:

APPID=APPID1,APPID2

TAIL_FILE=C:/root/log_dir1/dir_*/log.* C:/root/log_dir*/log*/log.*,C:/test_log/*

特定のルールは次のとおりです。

• 同じAPP_IDの複数の監視パスをスペース分割
• 異なるAPP_IDの監視パスはカンマ","で分割され、カンマ分割後の監視パスはAPP_IDに対応
• 監視パス内のディレクトリはワイルドカードによる監視
• テキストサポートワイルドカードによる監視
• パス区切り文字は"/"または"\</code>"、""を利用しないでください。またはC:/root/_ log or C:\\ root\ _ log　監視が必要なログブックをサーバーのルートディレクトリに保存しないでください。

---

4.1.2.データソースがkafkaの場合

パラメータKAFKA_TOPICS複数のトピックを監視する必要がある場合は、スペースを使用してトピックを区切ることができます。複数のAPP_IDがある場合は、半角カンマを使用して各APP_IDが監視するトピックを区切ります。パラメータKAFKA_GROUPIDは一意でなければなりません。パラメータKAFKA_OFFSET_RESET、Kafkaのパラメータを設定します。デフォルトはearliest。

注意:データソースのKafkaバージョンは0.10.1.0以上でなければなりません

単一APP_IDサンプル:

APPID=appid1

######kafka configure
#KAFKA_GROUPID=tga.group
#KAFKA_SERVERS=localhost:9092
#KAFKA_TOPICS=topic1 topic2
#KAFKA_OFFSET_RESET=earliest

マルチAPP_IDサンプル:

APPID=appid1,appid2

######kafka configure
#KAFKA_GROUPID=tga.group
#KAFKA_SERVERS=localhost:9092
#KAFKA_TOPICS=topic1 topic2,topic3 topic4
#KAFKA_OFFSET_RESET=earliest

4.2トランスポートパラメータ構成（必須構成）

##Transfer Settings
##URL transmitted by

##For HTTP transmission use the
PUSH_URL=http://receiver.ta.thinkingdata.cn/logbus
##If you are using a self-hosting deployment service, modify the transfer URL to: http://Data Acquisition Address/logbus

##Maximum number per transmission
#BATCH=10000
##How often should it be transmitted at least once (in seconds)
#INTERVAL_SECONDS=600
##Number of transfer threads, default single thread, recommended for use when network conditions are poor, multi-thread will consume more memory and CPU resources
#NUMTHREAD=1

##Compressed format for file transfer:gzip,snappy,none
#COMPRESS_FORMAT=none

4.3コンバータ構成（オプション構成）

##Converter type temporary supportjson csv regex splitter
#PARSE_TYPE=json

##Additional Fixed Attributes in Format：name value,name1 value1
#LABELS=

##Attribute name and type for PARSE_ TYPE: CSV regex splitter, format:name type, name1 type 1
##Types of support are：float int string date list bool
#SCHEMA=

##Specify separator, PARSE_ TYPE cannot be empty when CSV splitter
#SPLITTER=

##Specify the separator for the list type. When a list type exists, it defaults to:
#LIST_SPLITTER=,

##Regular expression, PARSE_ TYPE cannot be empty when regex
#FORMAT_REGEX=

4.4監視文書削除構成（オプション構成）

# Monitor directory file deletion and remove comments to start the delete file function
#can only be deleted by day or hour
# UNIT_ REMOVE=hour
#Delete how long ago
# OFFSET_ REMOVE=20
#Delete uploaded monitoring files every few minutes
# FREQUENCY_REMOVE=60

4.5配置文書の例

##################################################################################
##    Thinkingdata Data Analysis Platform Transfer Tool LogBus Profile
##Non-comments are required parameters and comments are optional parameters which can be adapted to your own circumstances
##Proper configuration
##Environmental Requirements: java8+, see TGA website for more detailed requirements
##http://doc.thinkinggame.cn/tdamanual/installation/logbus_installation.html
##################################################################################

##APPID token from TGA website
##Different APPIDs are separated by commas and cannot be configured repeatedly
APPID=from_tga1,from_tga2

#-----------------------------------source----------------------------------------

######file-source
##The path and file name of the data file read by LogBus (file name supports ambiguous matching) requires read permission
##Different APPIDs are separated by commas, while different directories of the same APPID are separated by spaces
##TAIL_ FILE File Names Support Regular Expressions in the Java Standard
TAIL_FILE=C:/path1/log.* C:/path2/txt.*,C:/path3/log.* C:/path4/log.* C:/path5/txt.*

######kafka-source
#KAFKA_GROUPID=tga.flume
#KAFKA_SERVERS=
#KAFKA_TOPICS=
#KAFKA_OFFSET_RESET=earliest

#------------------------------------sink-----------------------------------------
##Transfer Settings
URL transmitted by ##
##If you are using a self-hosting deployment service, please modify the transfer URL to: http://Data Acquisition Address/logbus
##PUSH_URL=http://receiver.ta.thinkingdata.cn/logbus
PUSH_URL=http://${Data Acquisition Address}/logbus

##Maximum number per transmission
#BATCH=10000

##How often should it be transmitted at least once (in seconds)
#INTERVAL_SECONDS=60

##### http compress
##Compressed format for file transfer: gzip, snappy, none
#COMPRESS_FORMAT=none

##Do you add UUID attributes to each data
#IS_ADD_UUID=true

#------------------------------------parse----------------------------------------
##Converter type temporary support:json csv regex splitter
#PARSE_TYPE=json

##Additional Fixed Attributes in Format：name value,name1 value1
#LABELS=

##Attribute name and type for PARSE_ TYPE: CSV regex splitter in format：name type,name1 type1
##Types of support are：float int string date list bool
#SCHEMA=

##Specify separator, PARSE_ TYPE cannot be empty when CSV splitter
#SPLITTER=

##Specify the separator for the list type. When a list type exists, it defaults to:
#LIST_SPLITTER=,

##Regular expression, PARSE_ TYPE cannot be empty when regex
#FORMAT_REGEX=

#------------------------------------other----------------------------------------
##To start the delete file function, start the delete file program every hour by opening the note (you must open both fields below) to delete the file in the monitor directory.
##Delete files before offset by unit
##Delete how long ago
#OFFSET_ REMOVE=
##Only receive deletions by day or hour
#UNIT_REMOVE=

LogBusの起動

最初に起動する前に以下のチェックを行ってください:

1.javaバージョンを確認

binディレクトリには、2つのスクリプトがあります：logbus.batとcheck_java.bat

ここでcheck_javaはjavaバージョンが要求を満たしているかどうかを検出し、スクリプトを実行し、javaバージョンが満たされていない場合Java version is less than 1.8またはCan't find java, please install jre first.などのヒントがあります。

JDKのバージョンを更新するか、次のセクションの内容を参照してください

2.LogBusのスタンドアロンJDKのインストール

LogBusデプロイノードの場合、環境上の関係で、JDKバージョンはLogBusの要件を満たしておらず、LogBusのJDKバージョンに置き換えることはできません。この機能を使用できます。

binディレクトリに入りますinstall_logbus_jdk.batがあります。

このスクリプトを実行すると、LogBus作業ディレクトリにJavaディレクトリが追加されます。LogBusはデフォルトでこのディレクトリの下のJDK環境を使用します。

3.logBus.confの設定を完了し、パラメータ環境チェックコマンド

logBus.confの設定については、「LogBusの設定」を参照してください

構成が完了したらenvコマンドを実行し、構成パラメーターが正しいかどうかをチェックします。

logbus.bat env

赤いエラー情報が出た場合、構成ブックに例外の提示がないまで再修正する必要があります。

logBus.confの構成を変更した後、新しい構成を有効にするにはLogBusを再起動する必要

4.LogBusを起動

logbus.bat start

起動が完了すると、logkit.exeが開きます。閉じないでください。そうしないと、データが重複してアップロードしてください

LogBusコマンドの詳細

6.1ヘルプ情報

パラメータや--helpや-hがなければ、ヘルプ情報が表示されます

主な説明LogBusのコマンド:

usage: logbus <Command | Auxiliary Command> [Option]
Command:
        start                                                        Start logBus.
        restart                                                      Restart logBus.
        stop                                                         Exit logBus safely.
        reset                                                        Reset logBus to read records
        stop_atOnce                                                  Force logBus exit.
Auxiliary Command：
        env                                                          Operating environment verification.
        server [-url <url>|-url <url> -appid <appid>]                Test Receiver Network.
        show_conf                                                    Display current logBus configuration information.
        version                                                      Display version number.
        update                                                       Update logbus to latest version.

Option：
 -appid <appid>   Project appid
 -h,--help        Display Help Document and Exit.
 -path <path>     Specify the absolute path to the test file
 -url <url>       Specify the URL address for the test
Instance：
   logbus.bat start                                                    Start logBus.
   logbus.bat stop                                                     Exit logBus safely.
   logbus.bat restart                                                  Restart logBus.
   logbus.bat server -url http://${Receiver Address}/logbus -appid *****      Test Receiver Network

6.2トランスポートチャネル検査server -url

フォーマットチェックを完了した後、データチャネルをチェックする必要があります。server-urlコマンドを使用してチェックできます。チェックと同時に、TEプラットフォームで受け取ったAPP_IDを入力できます。APP_IDとプロジェクトがバインドされていることに注意してください。入力する前に、入力したAPP_IDがプロジェクトに対応していることを確認してください

 logbus.bat server -url http://${Receiver Address}/logbus -appid ${appid}

6.3ショーケース構成情報show_conf

show_confコマンドを使用して、次の図に示すように、LogBusの構成情報を表示できます

logbus.bat show_conf

6.4起動環境チェックenv

env起動環境のチェックをすることができます。出力された情報の後ろにアスタリスクがついている場合、構成に問題があることを示し、アスタリスクのヒントがなくなるまで修正する必要があります。

logbus.bat env

6.5アップグレードLogBusバージョンupdate

updateを最新バージョンに更新できます

logbus.bat update

6.6スタートstart

フォーマットのチェック、データチャネルのチェック、環境チェックが完了すると、LogBusを起動してデータのアップロードを行います。LogBusは自動的にテキストに新しいデータが書き込まれているかどうかを検出し、新しいデータがある場合はデータをアップロードします。

logbus.bat start

6.7ストップstop

LogBusを停止する場合、stopコマンドを使用してください。

logbus.bat stop

6.8ストップstop_atOnce

すぐにLogBusを停止する場合は、stop_atOnceコマンドを使用してください。

logbus.bat stop_atOnce

6.9再起動restart

restartコマンドを使用してLogBusを再起動できます。

logbus.bat restart

6.10リセットreset

resetがリセットされます。このコマンドを使用すると、テキスト転送レコードが空になり、LogBusはすべてのデータを再アップロードします。不明確な条件でコマンドを使用すると、データが重複する可能性があります。TAスタッフとコミュニケーションを取ってから使用することをお勧めします。

logbus.bat reset

リセットコマンドを使用した後、startを実行してデータ転送を再開します。

6.11バージョン番号を見るversion

使用しているLogBusのバージョン番号を知りたい場合はversionコマンドを使用できます

logbus.bat version

7.ChangeLog

バージョン1.3.0 --- 2021/10/19

• 非TAフォーマットデータアップロード

バージョン1.2.0 --- 2021/05/26

• cygWinモードをサポート

バージョン1.1.0 --- 2020/08/28

• #UUIDのサポート
• 支持#イベント_id和#ファースト_チェック_id
• マルチスレッド送信のサポート
• 区切り解析と正則解析

バージョン1.0.0 --- 2020/06/25

• LogBus-Windowsリリース