Fluentd是统一日志记录层的开源数据收集器。Fluentd允许您统一数据收集和消耗,以便更好地使用和理解数据。
Fluentd根据Apache License v2.0的条款获得许可。该项目由Treasure Data制作和赞助。
Fluentd包含700多种不同的插件,可以扩展其功能。Fluentd是用于登录Kubernetes的事实上的标准日志聚合器,是广泛使用的Docker镜像之一。
Fluentd是一个开源数据收集器,它允许您统一数据收集和消耗,以便更好地使用和理解数据。使用JSON进行统一日志记录Fluentd尝试尽可能地将数据结构化为JSON:这允许Fluentd 统一处理日志数据的所有方面:收集,过滤,缓冲和跨多个源和目标(统一日志记录层)输出日志。使用JSON可以更轻松地进行下游数据处理,因为它具有足够的结构,可以在保留灵活模式的同时进行访问。可插拔架构Fluentd拥有灵活的插件系统,允许社区扩展其功能。
我们的500多个社区贡献插件连接了数十个数据源和数据输出。通过利用插件,您可以立即开始更好地使用日志。所需的最低资源Fluentd是用C语言和Ruby组合编写的,只需要很少的系统资源。vanilla实例运行30-40MB内存,可处理13,000个事件/秒/核心。如果您有更严格的内存要求(-450kb),请查看Fluent Bit,Fluentd的轻量级转发器。内置可靠性Fluentd支持基于内存和文件的缓冲,以防止节点间数据丢失。Fluentd还支持强大的故障转移功能,可以设置为高可用性。
curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh
systemctl enable --now td-agent
因为需要对es支持,需要安装fluentd的es插件
td-agent-gem install fluent-plugin-elasticsearch
td-agent-gem install fluent-plugin-secure-forward
td-agent-gem install fluent-plugin-typecast
配置文件默认存放目录:/etc/td-agent/td-agent.conf
内容来源于网络,如有侵权,请联系作者删除!