我一直在使用 Google Dataproc 探索 Spark，其中标准架构包括主节点和工作节点。在 Google Dataproc 上，主节点通常包含 hdfs**Namenode 和 yarn**ResourceManager，工作节点包含 hdfs**Datanode 和 yarn**NodeManager。
但是，当我使用 Yandex Dataproc 设置集群时，建议的架构包括master、data和perform节点。我很好奇这些“数据”节点的作用和优势。哪些组件可能托管在其上？考虑到数据节点将消耗CPU和RAM资源，这种设计选择似乎可能会增加成本。不幸的是，我在 Yandex 文档中找不到详细的解释。
有人能在 Yandex Dataproc 中阐明这种架构背后的原理吗？
1条答案
按热度按时间ff29svar1#
它的架构与GCP完全相同。
主节点运行Namenode和/或ResourceManager，
数据节点运行文字HDFS数据节点。
https://cloud.yandex.com/en/docs/data-proc/concepts/
计算节点将具有最高的关联成本，其次是主节点。存储数据块不需要很高的cpu/men，网络吞吐量应该优先考虑这些。