我在谷歌云平台集群上成功连接了一位Kafka制作者和消费者:
$ cd /usr/lib/kafka
$ bin/kafka-console-producer.sh config/server.properties --broker-list \
PLAINTEXT://[project-name]-w-0.c.[cluster-id].internal:9092 --topic test
在新的壳中执行
$ cd /usr/lib/kafka
$ bin/kafka-console-consumer.sh --bootstrap-server \
PLAINTEXT://[project-name]-w-0.c.[cluster-id].internal:9092 --topic test \
--from-beginning
现在,我想使用以下python脚本向kafka producer服务器发送消息:
from kafka import *
topic = 'test'
producer = KafkaProducer(bootstrap_servers='PLAINTEXT://[project-name]-w-0.c.[cluster-id].internal:9092',
api_version=(0,10))
producer.send(topic, b"Test test test")
但是,这会导致 KafkaTimeoutError
:
"Failed to update metadata after %.1f secs." % (max_wait,))
kafka.errors.KafkaTimeoutError: KafkaTimeoutError: Failed to update metadata after 60.0 secs.
在网上四处看看让我考虑:
取消注解 listeners=...
以及 advertised.listeners=...
在 /usr/lib/kafka/config/server.properties
文件。
然而, listeners=PLAINTEXT://:9092
不起作用,此帖子建议设置 PLAINTEXT://<external-ip>:9092
.
因此,我开始考虑通过gcp集群的外部(静态)ip地址访问kafka服务器。然后,我们建立了一个防火墙规则来访问端口(?),并允许https访问集群。但我不确定这是否是对问题的过度处理。
我确实需要一些指导来从python脚本成功地连接到kafka服务器。
2条答案
按热度按时间dzhpxtsq1#
你需要设置
advertised.listeners
你的客户连接到的地址。更多信息:https://rmoff.net/2018/08/02/kafka-listeners-explained/
d7v8vwbk2#
谢谢罗宾!你发布的链接非常有助于找到下面的工作配置。
尽管事实上
SimpleProducer
似乎是一种不受欢迎的方法,以下设置最终对我有效:python脚本:
在
/usr/lib/kafka/config/server.properties
文件: