在阅读了关于mesos和kubernetes以及kubernetes-vs.-mesos-vs.-swarm之间差异的讨论之后，我仍然对如何通过一些bear metal主机和aws-like private cloud（opennebular）使用docker容器创建spark和tensorflow集群感到困惑。
目前，我能够构建一个静态tensorflow集群，其中docker容器手动分发到不同的主机。我只在熊金属主机上运行一个独立的spark。可以在这里找到为容器手动设置mesos集群的方法。
由于我的资源有限，我想找到一种方法，将docker容器部署到当前的混合基础结构中，以构建tensorflow或spark集群，这样我就可以在相同的资源上使用tensorflow或spark进行数据分析。
在混合了mesos或kubernetes的基础设施上，是否可以使用docker容器快速创建/运行/取消部署spark或tensorflow集群？我该怎么做？
欢迎任何意见和提示。
1条答案
按热度按时间dgenwo3n1#
鉴于您的资源有限，我建议您考虑使用spark helm，它将为您提供：
1 x spark master，端口8080暴露在外部负载平衡器上
3个spark workers，配备horizontalpodautoscaler，当cpu达到100米的50%时，可扩展到最多10个Pod
1个zeppelin，端口8080暴露在外部负载平衡器上
如果这个配置不起作用，那么您可以构建自己的docker映像并部署它们，看看这个博客系列。目前正在进行的工作，使Spark更Kubernetes友好。这个问题也提供了一些见解。
不看tensorflow，我建议你看看这个博客