flume代理失败处理

jecbmhm3  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(429)

我已经编写了flume代理,它将在生产服务器上全天候运行。但有一段时间我观察到,Flume代理默默地下去。
我需要一种机制,它至少可以在这种情况发生时向客户机/用户发出警报。
任何处理这个案子的建议。

9udxz4iz

9udxz4iz1#

首先:我发现你最好检查一下日志,看看为什么Flume会崩溃。如果没有任何内容,请查看是否可以将日志记录级别更改为 WARN 或者 INFO ,因为Flume不应该崩溃。它在我的箱子上运行了很久。
如果您想继续创建这个监视机制:afaikflume不支持这样的功能,但是一个简单的bash脚本应该可以做到这一点。下面是一个例子。您必须自定义在flume关闭时执行的命令。


# !/bin/bash

process_identification_str='flume-ng'
while "true"; do
    ps=$(ps aux | grep "$process_identification_str" | grep -v 'grep')
    if [ -z "$ps" ]; then
        echo 'ALARM!'
    fi
    sleep 1
done
u4vypkhs

u4vypkhs2#

看看我的发现:“Flume中的监测工作仍在进行中。变化经常发生。有几个flume组件向jmx平台mbean服务器报告度量。可以使用jconsole查询这些指标。”
https://books.google.com.co/books?id=u1btbgaaqbaj&pg=pa145&lpg=pa145&dq=monitoring+in+flume+is+still+a+work+in+progress.+changes+can+happen+very+often.+several+flume+components+report+metrics+to+the+jmx+platform+mbean+server.+these+metrics+can+be+queried+using+jconsole.&source=bl&ots=wgcjzsz399&sig=cura1duhwgx0h87hz59fdwdw-9e&hl=es&sa=x&ved=0ahukeWID3DVOJRRAHXMSSYKHHQDZSQ6AEIGZAA公司
现在似乎不可能本机监视此组件。
当做!

相关问题