################################################################################## ## thinkingdata数据分析平台传输工具logBus配置文件 ##非注释的为必填参数,注释的为选填参数,可以根据你自身的情况进行 ##合适的配置 ##环境要求:java8+,更详细的要求请详见tga官网 ##http://doc.thinkinggame.cn/tgamanual/installation/logbus_installation.html ################################################################################## ##APPID来自tga官网的token ##不同APPID用逗号隔开 ##外网APPID #日本正式环境ID 613a66f5f00e4c32967fe4164eb88e58 APPID= #-----------------------------------source---------------------------------------- ######file-source ##LogBus读取的数据文件所在的路径及文件名(文件名支持模糊匹配), 需要有读权限 ##不同APPID用逗号隔开,相同APPID不同目录用空格隔开 ##TAIL_FILE的文件名支持java标准的正则表达式和通配符两种模式 #TAIL_FILE=/path1/log.* /path2/txt.*,/path3/log.* /path4/log.* /path5/txt.* TAIL_FILE=/data/mmogrun/publish/log/TALog/talog* /data/mmogrun/publish/log/account_TALog/talog* ##TAIL_MATCHER指定TAIL_FILE的路径的模糊匹配模式 regex-正则 glob-通配符。 ##regex为正则模式,支持使用java标准的正则表达式,但仅支持一层目录和文件名的模糊匹配 ##glob为通配符模式,支持多层目录模糊匹配,不支持DATE{}格式的匹配 ##默认使用regex正则表达式匹配 #TAIL_MATCHER=regex ######kafka-source ##kafka,topics使用正则 #KAFKA_GROUPID=tga.flume #KAFKA_SERVERS=ip:port #KAFKA_TOPICS=topicName #KAFKA_OFFSET_RESET=earliest/latest #------------------------------------sink----------------------------------------- ##传输设置 ##传送的url PUSH_URL=https://shushudata.herogame.com/logbus ##每次传输的最大数量(到达指定条数发送数据传输请求) #BATCH=1000 ##最少多久传一次(单位:秒)(时长到达,未满足batch数,把目前条数发送) #INTERVAL_SECONDS=60 ##### http传输 ##文件传输的压缩格式:gzip,lzo,lz4,snappy,none #COMPRESS_FORMAT=none #------------------------------------other----------------------------------------- ##监控目录下文件删除,打开注释(必须将下面两个字段都打开)即为启动删除文件功能,每一个小时启动一次文件删除程序 ##按unit删除offet之前的文件 ##删除多久之前的文件 #OFFSET_REMOVE= ##只接收按天(day)或小时(hour)删除 #UNIT_REMOVE= #------------------------------------interceptor----------------------------------- ##下面两个字段为使用自定义解析器(必须将两个字段都设置才可使用) ##自定义解析器全限定名,不设置则使用默认解析器 #CUSTOM_INTERCEPTOR= ##自定义解析器jar位置 #INTERCEPTOR_PATH=