监视中拒绝了kafka字节

eh57zj3b  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(440)

我们安装了8个节点的kafka集群和kafka管理器。
我们正在通过new relic进行监控。
newrelic和kafka经理都报告kafka拒绝字节。我找不到原因。
在代理日志中没有错误行。
jmsbean-jmx/kafka.server/brokertopicmetrics/bytesreeptedpersec/oneminute


Kafka配置-

auto.create.topics.enable=false
auto.leader.rebalance.enable=true
broker.id=180
controlled.shutdown.enable=true
controlled.shutdown.max.retries=3
default.replication.factor=1
delete.topic.enable=true
kafka.http.metrics.host=0.0.0.0
kafka.http.metrics.port=24042
kafka.log4j.dir=/logs/kafka
kerberos.auth.enable=false
leader.imbalance.check.interval.seconds=300
leader.imbalance.per.broker.percentage=10
log.cleaner.dedupe.buffer.size=134217728
log.cleaner.delete.retention.ms=604800000
log.cleaner.enable=true
log.cleaner.min.cleanable.ratio=0.5
log.cleaner.threads=1
log.dirs=/kafka/data
log.retention.bytes=5368709120
log.retention.check.interval.ms=300000
log.retention.hours=72
log.retention.ms=259200000
log.roll.hours=168
log.segment.bytes=1073741824
message.max.bytes=3145728
min.insync.replicas=1
num.io.threads=8
num.partitions=1
num.replica.fetchers=6
offsets.topic.num.partitions=50
offsets.topic.replication.factor=3
port=9092
quota.consumer.default=52428800
quota.consumer.default=52428800
quota.producer.default=26214400
quota.producer.default=26214400

replica.fetch.max.bytes=4194304
replica.lag.max.messages=6000
replica.lag.time.max.ms=60000
unclean.leader.election.enable=false
zookeeper.session.timeout.ms=6000
zookeeper.connect=zookeeper01.prod.***.com:2181,zookeeper02.prod.***.com:2181,zookeeper03.prod.***.com:2181
security.inter.broker.protocol=PLAINTEXT

listeners=PLAINTEXT://kafka01.prod.***.com:9092,
broker.id.generation.enable=false
sasl.kerberos.service.name=kafka
listeners=PLAINTEXT://:9092
num.network.threads=8
b4wnujal

b4wnujal1#

通过考查Kafka的资料(参考文献1,参考文献2),似乎只有一个原因被算入了bytesrejectedpersec( bytesRejectedRate )邮件大小是否超过 config.maxMessageSize .
注意:再压缩和消息格式转换也可能会影响消息大小超出生产者发送的内容。

相关问题