falcon-log-agent  - 日志采集工具
小码哥 2019-08-17 14:43:40

falcon-log-agent 简介

falcon-log-agent 是一个开源版的日志采集工具,旨在从流式的日志中抓取、统计日志中的特征信息。

获取的特征信息,与开源版 Open-Falcon 监控系统打通。可用于业务指标的衡量、也可用于稳定性的建设。

特性

  • 准确可依赖:历经滴滴线上业务近一年考验,统计准确性高。

  • 性能高、资源消耗可控:性能优化程度高,单核单策略可支撑日志分析:20W条/秒

  • 接入成本低:外挂式采集,只需要标准化日志即可;输出数据直接对接 open-falcon。

附:滴滴公司 agent 升级前后资源占用对比图 资源对比图

什么是日志采集

日志采集,是一种外挂式的采集。通过读取进程打印的日志,来进行监控数据的采集与汇聚计算。

falcon-log-agent如何工作

本 agent 即日志采集场景下的实时计算。实时读取文件内容,实时计算,将计算结果直接推送至falcon。

限定条件

  • 要求日志必须包含时间:不包含时间的日志,只能根据当前时间统计日志条数,结果非常不准确。

  • 不支持文件软链

  • 日志时间必须有序:为了应对日志延迟落盘等,agent会根据日志的时间来判断某一周期的数据是否采集完成,如果日志时间顺序错乱,可能导致采集不准。