fluentd简介

x33g5p2x  于2021-03-14 发布在 ElasticSearch  
字(1.0k)|赞(0)|评价(0)|浏览(785)

官网:https://www.fluentd.org/

Fluentd是统一日志记录层的开源数据收集器。Fluentd允许您统一数据收集和消耗,以便更好地使用和理解数据。

Fluentd根据Apache License v2.0的条款获得许可。该项目由Treasure Data制作和赞助。

Fluentd包含700多种不同的插件,可以扩展其功能。Fluentd是用于登录Kubernetes的事实上的标准日志聚合器,是广泛使用的Docker镜像之一。

Fluentd是一个开源数据收集器,它允许您统一数据收集和消耗,以便更好地使用和理解数据。使用JSON进行统一日志记录Fluentd尝试尽可能地将数据结构化为JSON:这允许Fluentd 统一处理日志数据的所有方面:收集,过滤,缓冲和跨多个源和目标(统一日志记录层)输出日志。使用JSON可以更轻松地进行下游数据处理,因为它具有足够的结构,可以在保留灵活模式的同时进行访问。可插拔架构Fluentd拥有灵活的插件系统,允许社区扩展其功能。

我们的500多个社区贡献插件连接了数十个数据源和数据输出。通过利用插件,您可以立即开始更好地使用日志。所需的最低资源Fluentd是用C语言和Ruby组合编写的,只需要很少的系统资源。vanilla实例运行30-40MB内存,可处理13,000个事件/秒/核心。如果您有更严格的内存要求(-450kb),请查看Fluent Bit,Fluentd的轻量级转发器。内置可靠性Fluentd支持基于内存和文件的缓冲,以防止节点间数据丢失。Fluentd还支持强大的故障转移功能,可以设置为高可用性。

安装fluentd

安装参考:https://docs.fluentd.org

curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh
systemctl enable --now td-agent

因为需要对es支持,需要安装fluentd的es插件

td-agent-gem install fluent-plugin-elasticsearch
td-agent-gem install fluent-plugin-secure-forward
td-agent-gem install fluent-plugin-typecast

配置文件默认存放目录:/etc/td-agent/td-agent.conf

相关文章

微信公众号

最新文章

更多