azure服务总线与python

dauxcl2d  于 2021-07-12  发布在  Spark
关注(0)|答案(1)|浏览(268)

你能帮我提供一些关于使用python使用azure服务总线流消息的建议吗。
因为我发现azure service bus没有spark结构化流媒体源,所以在这种情况下,我可以使用提供的python客户端读取azure service bus消息,然后从python客户端读取每条消息并将其写入kafka主题,在这个kafka主题上,我将应用spark结构化流媒体编程。
我的用例是使用azure服务总线流消息,并通过将其转换为timestream数据库来写入每条消息 influxdb或pramethoues 并显示实时 Jmeter 板 关于格拉法纳的商业指标。
我正在考虑看报纸 azure服务总线流消息使用python-kafka-producer-like程序并将此数据写入kafka主题,然后将此数据消费到spark流结构中 Kafka的主题。
请问我是不是要去公园 方向正确?有什么建议吗 感谢。。。。

5m1hhzi4

5m1hhzi41#

看起来没有现成的连接器,因为服务总线的设计没有考虑到这一点,不像事件集线器(提供kafka协议)。但是应该可以编写自己的接收器(就像这个)。
另一种选择是使用诸如azure函数之类的简单功能,立即将消息从服务总线转发到事件中心(或kafka)之类的兼容源。
azure函数以及serie总线和事件集线器/kafka的绑定,您可以实现这个转发服务,几乎不需要任何代码。但是如果您愿意,在您自己的客户机中同时使用pythonsdk也可以做到这一点,它本身也可以是azure函数。
--从我对微软问答的最初回答

相关问题