为什么gke上的dataproc不支持提交作业的docker映像，而对python/r和jar使用原始代码。提供容器映像不应该是将作业提交给gke的理想方式吗？无论是普通作业还是dataproc作业？这是计划中的还是正在进行中的工作？裁判：https://cloud.google.com/dataproc/docs/concepts/jobs/dataproc-gke
v1uwarro1#
正如问题评论中提到的，当前在gke上迭代dataproc的主要目的是提供与gce上的dataproc相同的用户体验。这就是为什么它支持相同的api，它不使用docker映像来执行spark作业，而且近期也没有计划增加对此的支持。也就是说，未来dataproc可能会决定支持某种容器作为提交作业的第一类方式（除了jar等）。
1条答案
按热度按时间v1uwarro1#
正如问题评论中提到的，当前在gke上迭代dataproc的主要目的是提供与gce上的dataproc相同的用户体验。这就是为什么它支持相同的api，它不使用docker映像来执行spark作业，而且近期也没有计划增加对此的支持。也就是说，未来dataproc可能会决定支持某种容器作为提交作业的第一类方式（除了jar等）。