# LogBus Windows 版使用ガイド
このセクションでは、主にデータ転送ツール LogBus の Windows バージョンの使用方法について説明します
ドッキングを開始する前に、データルールデータルール、TA のデータ形式とデータルールに精通した後、このガイドを読んでドッキングする必要があります。
**LogBus****アップロードするデータは、TA の**データ形式に従う
# ダウンロード LogBusWindows 版
最新バージョン: 1.3.0
更新時間は 2021-10-19: 2021-10-19 です
# I. LogBus の概要
LogBus ツールは、主にバックエンドのログデータを TA バックグラウンドにリアルタイムでインポートするために使用されます。そのコアは Flume に似ています。サーバーログディレクトリのテキストストリームを監視し、ディレクトリの下の任意のログテキストに新しいデータが生成されると、新しいデータを検証し、リアルタイムで TA バックグラウンドに送信します。
次のカテゴリのユーザーは、LogBus を使用してデータにアクセスすることをお勧めします。
- サービス側 SDK を使用するユーザーは、LogBus 経由でデータをアップロード
- データの正確性と次元に対する要求が高く、クライアント SDK だけではデータのニーズを満たすことができない、あるいはクライアント SDK へのアクセスが不便である
- バックエンドのデータプッシュプロセス
- 大量の履歴データ
# 二、使用前のデータ準備
1.まず転送するデータを ETL で TA のデータ形式、ローカルに書き込むか Kafka クラスタに転送する。サービス側 SDK のローカルテキストや Kafka の consumer を使うと、データはすでに正しい形式で、変換する必要はない。
2.アップロードされたデータのテキストが保存されているディレクトリ、または Kafka のアドレスと topic を特定し、LogBus の関連構成を設定すると、LogBus はテキストディレクトリのテキスト変更（新規または既存のテキストを監視）を監視したり、Kafka のデータを購読したりします。
3.監視ディレクトリに保存され、アップロードされたデータログの名前を直接変更しないでください。名前変更ログは新しいテキストに相当し、LogBus はこれらのテキストを再アップロードしてデータが重複する可能性があります。
4.に LogBus コンポーネントにデータバッファが含まれているため、LogBus ディレクトリがディスクに占める容量が少し大きくなる可能性があるため、LogBus インストールノードのディスク容量が十分で、プロジェクトへのデータ転送ごとに少なくとも 10G のストレージを確保する必要があります。
# III。LogBus のインストールとアップグレード
# 3.1 LogBus のインストール LogBus
1.ダウンロードLogBus 圧縮パッケージ (opens new window)し、解凍します。
2.解凍後のディレクトリ構造:
- bin:起動プログラムフォルダ
- conf:テキストフォルダの設定
- lib:機能ブッククリップ
# 四、LogBus のパラメータ構成
1.解凍後のconfディレクトリには、LogBusLogBus Templateのすべての LogBus 構成パラメーターを含む構成テキストが含まれています。
2.logBlogBを開いus.confて関連するパラメータ設定
# 4.1 プロジェクトとデータソースの構成（必須構成）
- プロジェクト APP_ID
APP_ID は繰り返し設定できません
##APPID来自tga官网的token，请在TA后台的项目配置页面获取接入项目的APPID并填入此处，多个APPID通过","分割
APPID=APPID_1,APPID_2
- ブック構成の監視(いずれかを選択してください。構成する必要があります)
# 4.1.1.データソースがローカルテキストの場合
##LogBus读取的数据文件所在的路径及文件名(文件名支持模糊匹配), 需要有读权限
##不同APPID用逗号隔开，相同APPID不同目录用空格隔开
##TAIL_FILE的文件名支持通配符匹配
TAIL_FILE=C:/path1/dir*/log.*,C:/path3/txt.*
TAIL_FILE マルチパスで複数のディレクトリを監視
対応するパラメータの設定:
APPID=APPID1,APPID2
TAIL_FILE=C:/root/log_dir1/dir_*/log.* C:/root/log_dir*/log*/log.*,C:/test_log/*
特定のルールは次のとおりです。
- 同じ APP_ID の複数の監視パスをスペース分割
- 異なる APP_ID の監視パスはカンマ"
,"で分割され、カンマ分割後の監視パスは APP_ID に対応 - 監視パス内のディレクトリはワイルドカードによる監視
- テキストサポートワイルドカードによる監視
- パス区切り文字は"
/"または"\\\\"、"\"\\**"**しないでください:またはC:\\root\\_. log
監視が必要なログブックをサーバーのルートディレクトリに保存しないでください。
# 4.1.2.データソースが kafka の場合
パラメータKAFKA_TOPICS複数のトピックを監視する必要がある場合は、スペースを使用してトピックを区切ることができます。複数の APP_ID がある場合は、半角カンマを使用して各 APP_ID が監視するトピックを区切ります。パラメータKAFKA_GROUPIDは一意でなければなりません。パラメータKAFKA_OFFSET_RESET、Kafka のパラメータパラメータを設定設定します。デフォルトはearliest。
注意:データソースの Kafka バージョンは 0.10.1.0 以上でなければなりません
単一 APP_ID サンプル:
APPID=appid1
######kafka 配置
#KAFKA_GROUPID=tga.group
#KAFKA_SERVERS=localhost:9092
#KAFKA_TOPICS=topic1 topic2
#KAFKA_OFFSET_RESET=earliest
マルチ APP_ID サンプル:
APPID=appid1,appid2
######kafka 配置
#KAFKA_GROUPID=tga.group
#KAFKA_SERVERS=localhost:9092
#KAFKA_TOPICS=topic1 topic2,topic3 topic4
#KAFKA_OFFSET_RESET=earliest
# 4.2 トランスポートパラメータ構成（必須構成）
##传输设置
##传送的url
##http传输请使用
PUSH_URL=http://ta-receiver.thinkingdata.io/logbus
##如果您使用的是私有化部署服务，请修改传输URL为：http://数据采集地址/logbus
##每次传输的最大数量
#BATCH=10000
##最少多久传一次(单位：秒)
#INTERVAL_SECONDS=600
##传输线程数，默认单线程，建议网络条件较差时使用，多线程会耗费更大的内存和CPU资源
#NUMTHREAD=1
##文件传输的压缩格式:gzip,snappy,none
#COMPRESS_FORMAT=none
# 4.3 コンバータ構成（オプション構成）
##转换器类型暂时支持json csv regex splitter
#PARSE_TYPE=json
##额外固定属性，格式为：name value,name1 value1
#LABELS=
##属性名和类型，适用于PARSE_TYPE为：csv regex splitter，格式为：name type,name1 type1
##支持的类型有：float int string date list bool
#SCHEMA=
##指定分隔符，PARSE_TYPE为csv splitter时不能为空
#SPLITTER=
##指定list类型的分隔符，适用于存在list类型时，默认为,
#LIST_SPLITTER=,
##正则表达式，PARSE_TYPE为regex时不能为空
#FORMAT_REGEX=
# 4.4 監視文書削除構成（オプション構成）
# 监控目录文件删除,去除注释即为启动删除文件功能
# 只能以按天(day)或按小时(hour)删除
# UNIT_REMOVE=hour
# 删除多久之前的文件
# OFFSET_REMOVE=20
# 删除已经上传的监控文件，每隔多少分钟删除
# FREQUENCY_REMOVE=60
# 4.5 配置文書の例
##################################################################################
## thinkingdata数据分析平台传输工具logBus配置文件
##非注释的为必填参数,注释的为选填参数,可以根据你自身的情况进行
##合适的配置
##环境要求：java8+,更详细的要求请详见tga官网
##http://doc.thinkinggame.cn/tdamanual/installation/logbus_installation.html
##################################################################################
##APPID来自tga官网的token
##不同APPID用逗号隔开，不可重复配置
APPID=from_tga1,from_tga2
#-----------------------------------source----------------------------------------
######file-source
##LogBus读取的数据文件所在的路径及文件名(文件名支持模糊匹配), 需要有读权限
##不同APPID用逗号隔开，相同APPID不同目录用空格隔开
##TAIL_FILE的文件名支持java标准的正则表达式
TAIL_FILE=C:/path1/log.* C:/path2/txt.*,C:/path3/log.* C:/path4/log.* C:/path5/txt.*
######kafka-source
#KAFKA_GROUPID=tga.flume
#KAFKA_SERVERS=
#KAFKA_TOPICS=
#KAFKA_OFFSET_RESET=earliest
#------------------------------------sink-----------------------------------------
##传输设置
##传送的url
##如果您使用的是私有化部署服务，请修改传输URL为：http://数据采集地址/logbus
##PUSH_URL=http://ta-receiver.thinkingdata.io/logbus
PUSH_URL=http://${数据采集地址}/logbus
##每次传输的最大数量
#BATCH=10000
##最少多久传一次(单位：秒)
#INTERVAL_SECONDS=60
##### http传输
##文件传输的压缩格式:gzip,snappy,none
#COMPRESS_FORMAT=none
##是否在每条数据中增加uuid属性
#IS_ADD_UUID=true
#------------------------------------parse----------------------------------------
##转换器类型暂时支持json csv regex splitter
#PARSE_TYPE=json
##额外固定属性，格式为：name value,name1 value1
#LABELS=
##属性名和类型，适用于PARSE_TYPE为：csv regex splitter，格式为：name type,name1 type1
##支持的类型有：float int string date list bool
#SCHEMA=
##指定分隔符，PARSE_TYPE为csv splitter时不能为空
#SPLITTER=
##指定list类型的分隔符，适用于存在list类型时，默认为,
#LIST_SPLITTER=,
##正则表达式，PARSE_TYPE为regex时不能为空
#FORMAT_REGEX=
#------------------------------------other----------------------------------------
##监控目录下文件删除,打开注释(必须将下面两个字段都打开)即为启动删除文件功能，每一个小时启动一次文件删除程序
##按unit删除offset之前的文件
##删除多久之前的文件
#OFFSET_REMOVE=
##只接收按天(day)或小时(hour)删除
#UNIT_REMOVE=
# V. LogBus の起動
最初に起動する前に以下のチェックを行ってください:
1.java バージョンを確認
にbinディレクトリには、2 つのスクリプトがありますlogbus.bat
ここでcheck_javaは java バージョンが要求を満たしているかどうかを検出し、スクリプトを実行し、java バージョンが満たされていない場合Java version is less than 1.8orjavaをインストールしてくださいなどのヒント
JDK のバージョンを更新するか、次のセクションの内容を参照してください
2.LogBus のスタンドアロン JDK のインストール
LogBus デプロイノードの場合、環境上の関係で、JDK バージョンは LogBus の要件を満たしておらず、LogBus の JDK バージョンに置き換えることはできません。この機能を使用できます。
に入りbinディレクトリに入りますinstall_logbus_jdk.bat。
このスクリプトを実行すると、LogBus 作業ディレクトリに Java ディレクトリが追加されます。LogBus はデフォルトでこのディレクトリの下の JDK 環境を使用します。
3.logBus.conf の設定を完了し、パラメータ環境チェックコマンド
logBus.conf の設定については、「LogBus の設定」を参照してください
構成が完了したら env コマンドを実行envコマンドを実行し、構成パラメーターが正しいかどうか
logbus.bat env
が出力された場合、構成ブックに例外の提示がないまで再修正する必要がある。
logBus.conf の構成を変更した後、新しい構成を有効にするには LogBus を再起動する必要
4.LogBus を起動
logbus.bat start
起動が完了すると、logkit.exe が開きます。閉じないでください。そうしないと、データが重複してアップロード
# VI。LogBus コマンドの詳細
# 6.1 ヘルプ情報
パラメータや--help や-h がなければ、ヘルプ情報が表示されます
主な説明 LogBus のコマンド:
usage: logbus <命令|辅助命令> [选项]
命令:
start 启动logBus.
restart 重启logBus.
stop 安全退出logBus.
reset 重置logBus读取记录.
stop_atOnce 强制退出logBus.
辅助命令：
env 运行环境校验.
server [-url <url>|-url <url> -appid <appid>] 测试接收端网络情况
show_conf 显示当前logBus配置信息.
version 显示版本号.
update 更新logbus到最新版本.
选项：
-appid <appid> 项目appid
-h,--help 显示帮助文档并退出.
-path <path> 指定测试文件的绝对路径
-url <url> 指定测试的url地址
示例：
logbus.bat start 启动logBus.
logbus.bat stop 安全退出logBus.
logbus.bat restart 重启logBus.
logbus.bat server -url http://${接收端地址}/logbus -appid ***** 测试接收端网络情况
# 6.2 トランスポートチャネル検査サーバ URL
フォーマットチェックを完了した後、データチャネルをチェックする必要があります。server-urlコマンドを使用してチェックできます。チェックと同時に、TA プラットフォームで受け取った APP_ID を入力できます。APP_ID とプロジェクトがバインドされていることに注意してください。入力する前に、入力した APP_ID がプロジェクトに対応していることを確認してください
logbus.bat server -url http://${接收端地址}/logbus -appid ${appid}
# 6.3 ショーケース構成情報 show_conf
を使用してshow_confコマンドを使用して、次の図に示すように、LogBus の構成情報を表示できます
logbus.bat show_conf
# 6.4 起動環境チェック env
を使ってenv起動環境のチェックをすることができます。出力された情報の後ろにアスタリスクがついている場合、構成に問題があることを示し、アスタリスクのヒントがなくなるまで修正する必要があります。
logbus.bat env
# 6.5 アップグレード LogBus バージョン update
を使用してupdateを最新バージョンに更新
logbus.bat update
# 6.6 スタートスタート
フォーマットのチェック、データチャネルのチェック、環境チェックが完了すると、LogBus を起動してデータのアップロードを行います。LogBus は自動的にテキストに新しいデータが書き込まれているかどうかを検出し、新しいデータがある場合はデータをアップロードします。
logbus.bat start
# 6.7 ストップストップ
LogBus を停止する場合。を使用してストップコマンドを使用してください。
logbus.bat stop
# 6.8 ストップストップ
すぐに LogBus を停止する場合は、stop_atOnceコマンドを使用してください。
logbus.bat stop_atOnce
# 6.9 再起動再起動
を使用してrestartコマンドを使用して LogBus を再起動できます。
logbus.bat restart
# 6.10 リセットリセット
を使用リセットがリセットされます。このコマンドを使用すると、テキスト転送レコードが空になり、LogBus はすべてのデータを再アップロードします。不明確な条件でコマンドを使用すると、データが重複する可能性があります。TA スタッフとコミュニケーションを取ってから使用することをお勧めします。
logbus.bat reset
リセットコマンドを使用した後、start を実行しstartてデータ転送を再開
# バージョン番号を見る version
使用している LogBus のバージョン番号を知りたい場合はversionコマンドを使用できます
logbus.bat version
# 七、ChangeLog
# バージョン 1.3.0 --- 2021/10/19
- 非 TA フォーマットデータアップロード
# バージョン 1.2.0 --- 2021/05/26
- cygWin モードをサポート
# バージョン 1.1.0 --- 2020/08/28
- #UUID のサポート
- 支持#イベントid 和#ファーストチェック_id
- マルチスレッド送信のサポート
- 区切り解析と正則解析
# バージョン 1.0.0 --- 2020/06/25
- LogBus-Windows リリース