我在BQ中有我的源数据,我必须处理它并将其加载到不同的BQ表中。目前我正在使用Dataproc和spark来处理和加载数据。有没有更好的方法来做同样的事情,或者我可以使用像DATAFLOW这样的GCP提供/内置功能来实现同样的目标?
xj3cbfub1#
我觉得Dataflow很适合你的情况。如果你使用Python,https://github.com/GoogleCloudPlatform/dataflow-cookbook/tree/main/Python/bigquery包含了很多有用的代码,可以让你创建自己的Beam管道。
1条答案
按热度按时间xj3cbfub1#
我觉得Dataflow很适合你的情况。如果你使用Python,https://github.com/GoogleCloudPlatform/dataflow-cookbook/tree/main/Python/bigquery包含了很多有用的代码,可以让你创建自己的Beam管道。