Spark流到power bi

dsf9zpds  于 2021-06-09  发布在  Hbase
关注(0)|答案(1)|浏览(475)

顾名思义,我想在powerbi中看到实时数据。我已经建立了管道,直到Spark流,我在那里处理的数据,现在我想推进到电源bi。最好使用python。
现在根据我的理解,可能有下面提到的不同方式。
将流式数据存储到azure blob中,并在power bi中使其成为实时连接。我知道在纸面上听起来很完美,但有可能这样做吗?
第二种方法是在powerbi中创建一个push数据集,获取restapi url并将spark streaming的请求发布到它。所以我的问题是,有没有可能从spark streaming向power bi发送post请求?google只告诉我在spark中发送请求。与Spark流无关。
使用pubnubsdk。有可能吗?基本上如何从spark流媒体向pubnub订户发送数据?
将spark流摄取到hbase中,然后在powerbi中与其建立实时连接。有可能吗?
我的目标是尽量减少延迟。
任何帮助都将不胜感激。

bybem2ql

bybem2ql1#

这可能不是最好的方法。我认为最好的方法是编写自己的结构化流媒体集成。但是,可以使用pubnub。下面是一些python代码,用于在pubnub频道上发布 Jmeter 板数据。

import requests

def publishRecord(record):
        requests.get('http://pubsub.pubnub.com/publish/publish_key_here/subscribe_key_here/0/pubnub_channel_name/0/' + str(record))   

rdd.foreach(publishRecord)

您可以使用typescript订阅 Jmeter 板中的同一频道。

相关问题