我开发了一个基于hadoop的大数据分析系统。
我想把这个系统装在Kubernetes上。现在我在helm上使用稳定的hadoop图表来设置hadoop，但是我分析的数据通常高达100gb。
库伯内特一家只能使用/directory的功能。换句话说，我的hadoop作业不能使用其他磁盘的资源。
kubernetes是否有其他方法可以将其他磁盘资源用作容器作业（不像卷）。
或者我可以在非系统磁盘上设置kubernetes的工作节点吗？
我开发了一个基于hadoop的大数据分析系统。
我想把这个系统装在Kubernetes上。现在我在helm上使用稳定的hadoop图表来设置hadoop，但是我分析的数据通常高达100gb。
库伯内特一家只能使用/directory的功能。换句话说，我的hadoop作业不能使用其他磁盘的资源。
kubernetes是否有其他方法可以将其他磁盘资源用作容器作业（不像卷）。
或者我可以在非系统磁盘上设置kubernetes的工作节点吗？
1条答案
按热度按时间sg2wtvxw1#
基于hadoop
您可以将与hadoop兼容的文件系统用于任何hadoopapi系统，包括kubernetes上的apachespark。
你不需要hadoop/yarn/mapreduce“基于hadoop”
换言之，可以尝试在rook项目（ceph）或minio（类似s3）这样的环境中正常工作的其他方法
不过，我建议不要将datalake存储放在临时容器中