# LogBus Windows版使用ガイド
このセクションでは、主にデータ転送ツールLogBusのWindowsバージョンの使用方法について説明します
ドッキングを開始する前に、データルールデータルール、TAのデータ形式とデータルールに精通した後、このガイドを読んでドッキングする必要があります。
LogBus****アップロードするデータは、TAのデータ形式に従う
# ダウンロードLogBusWindows版
最新バージョン: 1.3.0
更新時間は2021-10-19: 2021-10-19です
# I. LogBusの概要
LogBusツールは、主にバックエンドのログデータをTAバックグラウンドにリアルタイムでインポートするために使用されます。そのコアはFlumeに似ています。サーバーログディレクトリのテキストストリームを監視し、ディレクトリの下の任意のログテキストに新しいデータが生成されると、新しいデータを検証し、リアルタイムでTAバックグラウンドに送信します。
次のカテゴリのユーザーは、LogBusを使用してデータにアクセスすることをお勧めします。
- サービス側SDKを使用するユーザーは、LogBus経由でデータをアップロード
- データの正確性と次元に対する要求が高く、クライアントSDKだけではデータのニーズを満たすことができない、あるいはクライアントSDKへのアクセスが不便である
- バックエンドのデータプッシュプロセス
- 大量の履歴データ
# 二、使用前のデータ準備
1.まず転送するデータをETLでTAのデータ形式、ローカルに書き込むかKafkaクラスタに転送する。サービス側SDKのローカルテキストやKafkaのconsumerを使うと、データはすでに正しい形式で、変換する必要はない。
2.アップロードされたデータのテキストが保存されているディレクトリ、またはKafkaのアドレスとtopicを特定し、LogBusの関連構成を設定すると、LogBusはテキストディレクトリのテキスト変更（新規または既存のテキストを監視）を監視したり、Kafkaのデータを購読したりします。
3.監視ディレクトリに保存され、アップロードされたデータログの名前を直接変更しないでください。名前変更ログは新しいテキストに相当し、LogBusはこれらのテキストを再アップロードしてデータが重複する可能性があります。
4.にLogBusコンポーネントにデータバッファが含まれているため、LogBusディレクトリがディスクに占める容量が少し大きくなる可能性があるため、LogBusインストールノードのディスク容量が十分で、プロジェクトへのデータ転送ごとに少なくとも10Gのストレージを確保する必要があります。
# III。LogBusのインストールとアップグレード
# 3.1 LogBusのインストールLogBus
1.ダウンロードLogBus圧縮パッケージ (opens new window)し、解凍します。
2.解凍後のディレクトリ構造:
- bin:起動プログラムフォルダ
- conf:テキストフォルダの設定
- lib:機能ブッククリップ
# 四、LogBusのパラメータ構成
1.解凍後のconfディレクトリには、LogBusLogBus TemplateのすべてのLogBus構成パラメーターを含む構成テキストが含まれています。
2.logBlogBを開いus.confて関連するパラメータ設定
# 4.1プロジェクトとデータソースの構成（必須構成）
- プロジェクトAPP_ID
APP_IDは繰り返し設定できません
##APPID来自tga官网的token，请在TA后台的项目配置页面获取接入项目的APPID并填入此处，多个APPID通过","分割
APPID=APPID_1,APPID_2
- ブック構成の監視(いずれかを選択してください。構成する必要があります)
# 4.1.1.データソースがローカルテキストの場合
##LogBus读取的数据文件所在的路径及文件名(文件名支持模糊匹配), 需要有读权限
##不同APPID用逗号隔开，相同APPID不同目录用空格隔开
##TAIL_FILE的文件名支持通配符匹配
TAIL_FILE=C:/path1/dir*/log.*,C:/path3/txt.*
TAIL_FILEマルチパスで複数のディレクトリを監視
対応するパラメータの設定:
APPID=APPID1,APPID2
TAIL_FILE=C:/root/log_dir1/dir_*/log.* C:/root/log_dir*/log*/log.*,C:/test_log/*
特定のルールは次のとおりです。
- 同じAPP_IDの複数の監視パスをスペース分割
- 異なるAPP_IDの監視パスはカンマ"
,"で分割され、カンマ分割後の監視パスはAPP_IDに対応 - 監視パス内のディレクトリはワイルドカードによる監視
- テキストサポートワイルドカードによる監視
- パス区切り文字は"
/"または"\\\\"、"\"\\**"**しないでください:またはC:\\root\\_. log
監視が必要なログブックをサーバーのルートディレクトリに保存しないでください。
# 4.1.2.データソースがkafkaの場合
パラメータKAFKA_TOPICS複数のトピックを監視する必要がある場合は、スペースを使用してトピックを区切ることができます。複数のAPP_IDがある場合は、半角カンマを使用して各APP_IDが監視するトピックを区切ります。パラメータKAFKA_GROUPIDは一意でなければなりません。パラメータKAFKA_OFFSET_RESET、Kafkaのパラメータパラメータを設定設定します。デフォルトはearliest。
注意:データソースのKafkaバージョンは0.10.1.0以上でなければなりません
単一APP_IDサンプル:
APPID=appid1
######kafka 配置
#KAFKA_GROUPID=tga.group
#KAFKA_SERVERS=localhost:9092
#KAFKA_TOPICS=topic1 topic2
#KAFKA_OFFSET_RESET=earliest
マルチAPP_IDサンプル:
APPID=appid1,appid2
######kafka 配置
#KAFKA_GROUPID=tga.group
#KAFKA_SERVERS=localhost:9092
#KAFKA_TOPICS=topic1 topic2,topic3 topic4
#KAFKA_OFFSET_RESET=earliest
# 4.2トランスポートパラメータ構成（必須構成）
##传输设置
##传送的url
##http传输请使用
PUSH_URL=http://ta-receiver.thinkingdata.io/logbus
##如果您使用的是私有化部署服务，请修改传输URL为：http://数据采集地址/logbus
##每次传输的最大数量
#BATCH=10000
##最少多久传一次(单位：秒)
#INTERVAL_SECONDS=600
##传输线程数，默认单线程，建议网络条件较差时使用，多线程会耗费更大的内存和CPU资源
#NUMTHREAD=1
##文件传输的压缩格式:gzip,snappy,none
#COMPRESS_FORMAT=none
# 4.3コンバータ構成（オプション構成）
##转换器类型暂时支持json csv regex splitter
#PARSE_TYPE=json
##额外固定属性，格式为：name value,name1 value1
#LABELS=
##属性名和类型，适用于PARSE_TYPE为：csv regex splitter，格式为：name type,name1 type1
##支持的类型有：float int string date list bool
#SCHEMA=
##指定分隔符，PARSE_TYPE为csv splitter时不能为空
#SPLITTER=
##指定list类型的分隔符，适用于存在list类型时，默认为,
#LIST_SPLITTER=,
##正则表达式，PARSE_TYPE为regex时不能为空
#FORMAT_REGEX=
# 4.4監視文書削除構成（オプション構成）
# 监控目录文件删除,去除注释即为启动删除文件功能
# 只能以按天(day)或按小时(hour)删除
# UNIT_REMOVE=hour
# 删除多久之前的文件
# OFFSET_REMOVE=20
# 删除已经上传的监控文件，每隔多少分钟删除
# FREQUENCY_REMOVE=60
# 4.5配置文書の例
##################################################################################
## thinkingdata数据分析平台传输工具logBus配置文件
##非注释的为必填参数,注释的为选填参数,可以根据你自身的情况进行
##合适的配置
##环境要求：java8+,更详细的要求请详见tga官网
##http://doc.thinkinggame.cn/tdamanual/installation/logbus_installation.html
##################################################################################
##APPID来自tga官网的token
##不同APPID用逗号隔开，不可重复配置
APPID=from_tga1,from_tga2
#-----------------------------------source----------------------------------------
######file-source
##LogBus读取的数据文件所在的路径及文件名(文件名支持模糊匹配), 需要有读权限
##不同APPID用逗号隔开，相同APPID不同目录用空格隔开
##TAIL_FILE的文件名支持java标准的正则表达式
TAIL_FILE=C:/path1/log.* C:/path2/txt.*,C:/path3/log.* C:/path4/log.* C:/path5/txt.*
######kafka-source
#KAFKA_GROUPID=tga.flume
#KAFKA_SERVERS=
#KAFKA_TOPICS=
#KAFKA_OFFSET_RESET=earliest
#------------------------------------sink-----------------------------------------
##传输设置
##传送的url
##如果您使用的是私有化部署服务，请修改传输URL为：http://数据采集地址/logbus
##PUSH_URL=http://ta-receiver.thinkingdata.io/logbus
PUSH_URL=http://${数据采集地址}/logbus
##每次传输的最大数量
#BATCH=10000
##最少多久传一次(单位：秒)
#INTERVAL_SECONDS=60
##### http传输
##文件传输的压缩格式:gzip,snappy,none
#COMPRESS_FORMAT=none
##是否在每条数据中增加uuid属性
#IS_ADD_UUID=true
#------------------------------------parse----------------------------------------
##转换器类型暂时支持json csv regex splitter
#PARSE_TYPE=json
##额外固定属性，格式为：name value,name1 value1
#LABELS=
##属性名和类型，适用于PARSE_TYPE为：csv regex splitter，格式为：name type,name1 type1
##支持的类型有：float int string date list bool
#SCHEMA=
##指定分隔符，PARSE_TYPE为csv splitter时不能为空
#SPLITTER=
##指定list类型的分隔符，适用于存在list类型时，默认为,
#LIST_SPLITTER=,
##正则表达式，PARSE_TYPE为regex时不能为空
#FORMAT_REGEX=
#------------------------------------other----------------------------------------
##监控目录下文件删除,打开注释(必须将下面两个字段都打开)即为启动删除文件功能，每一个小时启动一次文件删除程序
##按unit删除offset之前的文件
##删除多久之前的文件
#OFFSET_REMOVE=
##只接收按天(day)或小时(hour)删除
#UNIT_REMOVE=
# V. LogBusの起動
最初に起動する前に以下のチェックを行ってください:
1.javaバージョンを確認
にbinディレクトリには、2つのスクリプトがありますlogbus.bat
ここでcheck_javaはjavaバージョンが要求を満たしているかどうかを検出し、スクリプトを実行し、javaバージョンが満たされていない場合Java version is less than 1.8orjavaをインストールしてくださいなどのヒント
JDKのバージョンを更新するか、次のセクションの内容を参照してください
2.LogBusのスタンドアロンJDKのインストール
LogBusデプロイノードの場合、環境上の関係で、JDKバージョンはLogBusの要件を満たしておらず、LogBusのJDKバージョンに置き換えることはできません。この機能を使用できます。
に入りbinディレクトリに入りますinstall_logbus_jdk.bat。
このスクリプトを実行すると、LogBus作業ディレクトリにJavaディレクトリが追加されます。LogBusはデフォルトでこのディレクトリの下のJDK環境を使用します。
3.logBus.confの設定を完了し、パラメータ環境チェックコマンド
logBus.confの設定については、「LogBusの設定」を参照してください
構成が完了したらenvコマンドを実行envコマンドを実行し、構成パラメーターが正しいかどうか
logbus.bat env
が出力された場合、構成ブックに例外の提示がないまで再修正する必要がある。
logBus.confの構成を変更した後、新しい構成を有効にするにはLogBusを再起動する必要
4.LogBusを起動
logbus.bat start
起動が完了すると、logkit.exeが開きます。閉じないでください。そうしないと、データが重複してアップロード
# VI。LogBusコマンドの詳細
# 6.1ヘルプ情報
パラメータや--helpや-hがなければ、ヘルプ情報が表示されます
主な説明LogBusのコマンド:
usage: logbus <命令|辅助命令> [选项]
命令:
start 启动logBus.
restart 重启logBus.
stop 安全退出logBus.
reset 重置logBus读取记录.
stop_atOnce 强制退出logBus.
辅助命令：
env 运行环境校验.
server [-url <url>|-url <url> -appid <appid>] 测试接收端网络情况
show_conf 显示当前logBus配置信息.
version 显示版本号.
update 更新logbus到最新版本.
选项：
-appid <appid> 项目appid
-h,--help 显示帮助文档并退出.
-path <path> 指定测试文件的绝对路径
-url <url> 指定测试的url地址
示例：
logbus.bat start 启动logBus.
logbus.bat stop 安全退出logBus.
logbus.bat restart 重启logBus.
logbus.bat server -url http://${接收端地址}/logbus -appid ***** 测试接收端网络情况
# 6.2トランスポートチャネル検査サーバURL
フォーマットチェックを完了した後、データチャネルをチェックする必要があります。server-urlコマンドを使用してチェックできます。チェックと同時に、TAプラットフォームで受け取ったAPP_IDを入力できます。APP_IDとプロジェクトがバインドされていることに注意してください。入力する前に、入力したAPP_IDがプロジェクトに対応していることを確認してください
logbus.bat server -url http://${接收端地址}/logbus -appid ${appid}
# 6.3ショーケース構成情報show_conf
を使用してshow_confコマンドを使用して、次の図に示すように、LogBusの構成情報を表示できます
logbus.bat show_conf
# 6.4起動環境チェックenv
を使ってenv起動環境のチェックをすることができます。出力された情報の後ろにアスタリスクがついている場合、構成に問題があることを示し、アスタリスクのヒントがなくなるまで修正する必要があります。
logbus.bat env
# 6.5アップグレードLogBusバージョンupdate
を使用してupdateを最新バージョンに更新
logbus.bat update
# 6.6スタートスタート
フォーマットのチェック、データチャネルのチェック、環境チェックが完了すると、LogBusを起動してデータのアップロードを行います。LogBusは自動的にテキストに新しいデータが書き込まれているかどうかを検出し、新しいデータがある場合はデータをアップロードします。
logbus.bat start
# 6.7ストップストップ
LogBusを停止する場合。を使用してストップコマンドを使用してください。
logbus.bat stop
# 6.8ストップストップ
すぐにLogBusを停止する場合は、stop_atOnceコマンドを使用してください。
logbus.bat stop_atOnce
# 6.9再起動再起動
を使用してrestartコマンドを使用してLogBusを再起動できます。
logbus.bat restart
# 6.10リセットリセット
を使用リセットがリセットされます。このコマンドを使用すると、テキスト転送レコードが空になり、LogBusはすべてのデータを再アップロードします。不明確な条件でコマンドを使用すると、データが重複する可能性があります。TAスタッフとコミュニケーションを取ってから使用することをお勧めします。
logbus.bat reset
リセットコマンドを使用した後、startを実行しstartてデータ転送を再開
# バージョン番号を見るversion
使用しているLogBusのバージョン番号を知りたい場合はversionコマンドを使用できます
logbus.bat version
# 七、ChangeLog
# バージョン1.3.0 --- 2021/10/19
- 非TAフォーマットデータアップロード
# バージョン1.2.0 --- 2021/05/26
- cygWinモードをサポート
# バージョン1.1.0 --- 2020/08/28
- #UUIDのサポート
- 支持#イベント_id和#ファースト_チェック_id
- マルチスレッド送信のサポート
- 区切り解析と正則解析
# バージョン1.0.0 --- 2020/06/25
- LogBus-Windowsリリース