apache druid 使用 log4j2 防止日志爆炸也支持实时且灵活的多维数据

文章图片
Apachedruid
Druid是一个分布式的、支持实时多维OLAP分析的数据处理系统。它既支持高速的数据实时摄入处理，也支持实时且灵活的多维数据分析查询。因此Druid最常用的场景就是大数据背景下、灵活快速的多维OLAP分析。另外， Druid还有一个关键的特点：它支持根据时间戳对数据进行预聚合摄入和聚合分析，因此也有用户经常在有时序数据处理分析的场景中用到它

文章图片
druid日志爆炸
环境默认的输出日志经常出现一个文件几十G的情况，需要通过提供的日志配置自行调整，防止这种日志文件爆炸情况。
日志正常分隔一般根据大小或是时间两个维度。
druid提供log4j2的日志配置。
日志配置目标
apachedruid包含多个节点coordinator,overlord,MiddleManager,Broker,Historical.
集群本身共用一个日志配置文件（_common）.
目标：不同的节点输出至自身的配置文件中。

文章图片
【apache druid 使用 log4j2 防止日志爆炸】配置实例
本次以broker节点为例
在broker中包含运行配置文件。
jvm.config
runtime.properties
在jvm.config加入参数-Dlogfile.name=broker
-server-Xms64g-Xmx64g-XX:MaxDirectMemorySize=15360m-Duser.timezone=UTC+0800-Dfile.encoding=UTF-8-Djava.io.tmpdir=var/tmp-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager-Dlogfile.name=broker
log4j2配置文件
滚动策略每100M一个文件。
%d{yyyy-MM-ddHH:mm:ss}%processId[%t]%-5p%c{1}:%L-%msg%n%msg%n%d%-8r%m%nlogsfileName="${logPath}/${sys:logfile.name}.log"filePattern="${logPath}/${sys:logfile.name}-%d{yyyy-MM-dd}.log.%i">${pattern}fileName="${logPath}/${sys:logfile.name}.metrics"filePattern="${logPath}/${sys:logfile.name}-%d{yyyy-MM-dd}.metrics.%i.gz">${patternMetrics}
总结
本文件虽然可以按照预期生成日志，避免短时间内的日志爆炸，但删除过期日志一直未能正常生效。
这个策略在本地程序中测试时可以生效。

apache druid 使用 log4j2 防止日志爆炸

推荐阅读

Intel|Intel宣布IFS代工业务重要进展：“1.8nm”工艺已有合作

涩会哥|麻将在那都能打，搞笑GIF趣图：今天真是长见识了

四月至五月的生日是什么星座

包含象棋围棋五子棋的软件棋软收藏站

条纹十二卷养多久开花条纹十二卷的养殖方法

效率工具横评：钉钉、飞书、企业微信哪家强？

『餐馆』城管对北京市餐馆进行疫情防控检查

银行|厦门银行过会：今年IPO获批第93家中信建投过11单

有料健康驿站内脏发生癌变，腹部会出现异常改变，提醒：这几个症状需注意

『东球弟聊体育』为啥只缺刘诗雯一人？，清明刘国梁率国乒全员哀悼

一位女儿写给母亲的遗书：如果有来生，我不想再做您的女儿

趣头条|吉利星瑞特别版价格公布，13.77万开抢

孕妇吃的粗粮都有什么

能穿的起一件2万块巴宝瑞风衣的人收入要达到多少，他的职位一般会是哪些呢

中国足球|他踢断了对手的腿，仍被视为英雄，可如今他又想踢断另一人的腿

日本|如果美日联手，中国能应付得了吗？

思淼谈历史|为何朱棣称帝后，对他的封赏是最高的，李景隆是个草包将军

王者段位等级是怎么排的？

生科医学|内蒙古感染者突然超200例：出来的人去哪了？

痔疮用药膏涂多久能好